尊龙凯时 - 人生就是搏!

陟爽 鹿藝 馮璟豔：專利分析視角下的ChatGPT創新路徑及對中國大模型技術發展的啓示

OpenAI成立于2015年，是由美国著名创业孵化器Y Combinator的总裁Sam Altman和特斯拉的CEO马斯克（Elon Musk）发起的让全人类受益的非盈利组织。OpenAI承诺开源所有技术，鼓励研究人员公开发表工作成果，将专利（如果有的话）与全世界共享^[1]，避免使用�：θ祟惢蜻^度集中權力的AI或AGI（通用人工智能）^[2]。2018年，因公司經營理念問題，馬斯克與OpenAI分道揚镳。在研發AI模型的過程中，OpenAI面臨越來越大的經濟壓力，最後不得不在2019年轉變爲盈利性公司，之後獲得了微軟10億美元的投資。2022年1月,路透社援引的Semafor報告稱，微軟正考慮投資100億美金給OpenAI（總估值290億美金）^[3]。

ChatGPT是OpenAI于2022年11月推出的人工智能聊天機器人程序，該程序是在GPT-3.5（一種自然語言預訓練大模型）基礎內核上使用監督學習和強化學習進行訓練所得到的模型。在監督學習過程中，ChatGPT收集了全新的人類對話語料，並將其與GPT-3.5的監督學習語料合並。在強化學習過程中，ChatGPT首先訓練了一個得分模型來對模型輸出進行排序，然後用該得分模型來對生成模型輸出進行反饋，並優化該生成模型。最終由強化學習得到的模型即爲ChatGPT。ChatGPT以文字方式互動，可以實現與人類對話交互，還可以實現文本生成、自動問答、自動摘要等在內的多種任務。

ChatGPT的成功来源于更早期发布的GPT-3模型以及对RLHF的优化。GPT是Generative Pre-trained Transformer（生成型预训练变换模型）的缩写。它是基于Transformer架构（2017年由谷歌提出），GPT的主要优势在于它可以通过预训练大量语料数据来获得对语言任务的预测能力，而不需要大量的人工标注数据。它具有良好的语言生成能力，可以生成文本、回答问题、对话等多项语言任务。RLHF（Reinforcement Learning from Human Feedback人类反馈强化学习）^[4][5]是一项涉及多个模型和不同训练阶段的复杂概念，包括以下三个步骤：预训练一个语言模型（LM）；聚合问答数据并训练一个奖励模型（Reward Model，RM）；用强化学习（RL）方式微调LM。

2023年3月15日，多模態預訓練大模型GPT-4^[6]正式發布，能夠處理文本、圖像兩種模態以及25000個單詞的超長文本輸入，並通過文本輸出。GPT-4能夠很好的支持圖像輸入，能夠理解圖片中的幽默之處，並且具備理解長上下文的能力，在各種專業和學術基准測試上表現出人類水平，包括通過模擬律師考試，分數約爲全體考生的前10%。相對于以前的GPT-3.5模型，GPT-4明顯減少了“幻覺”，在團隊內部對抗性設計的事實性評估中，GPT-4的得分比GPT-3.5高19個百分點。但是，考慮到GPT-4這樣的大模型的競爭格局和安全影響，OpenAI並未公開有關架構（包括模型大�。�、硬件、訓練計算、數據集構建、訓練方法或類似內容的更多詳細信息。目前，ChatGPTPlus版本已經使用GPT-4模型。

智譜AI團隊研究發布的《ChatGPT團隊背景研究報告》^[7]稱，2023年2月，ChatGPT團隊規模不足百人（共87人）。分析發現，其顯著特征是“年紀很輕”、“背景豪華”、“聚焦技術”、“積累深厚”、“崇尚創業”和“華人搶眼”。該團隊平均年齡爲32歲，“90後”是主力軍。他們引領的這一波大型語言模型技術風潮，充分說明了那些經常被認爲研發經驗不足的年輕人，完全有可能在前沿科技領域取得重大突破。團隊成員絕大多數擁有名校學曆，且具有全球知名企業工作經曆。華人學者歐陽龍參與了與ChatGPT相關的7大技術項目中的4大項目的研發，他是InstructGPT論文的第一作者，是RLHF論文的第二作者，可見他是這兩個關鍵技術項目的核心人員。

1）OpenAI專利分析

在世界著名的DWPI摘要數據庫中，以申請人（OpenAI）、發明人（InstructGPT、GPT-3等技術對應論文作者）、結合“NLP”、“語言”、“訓練”等關鍵詞進行檢索，發現OpenAI公司作爲權利人的專利數量爲零，同時采用多種商業數據庫進行搜尋，均未發現OpenAI名下任何專利。

分析其原因，OpenAI在成立之初作为非盈利组织，期望开源所有技术，专利制度作为公开换保护的一种方式，申请专利对于非盈利组织不是必须的，而OpenAI转变为盈利性公司后，考虑到ChatGPT、GPT-3、GPT-4属于黑盒模型，且模型的训练花费庞大，开发和部署都很复杂，对于其他公司或科研院所而言很难复现，不通过专利也能实现技术保护，通过商用API(Application Programming Interface,应用程序编程接口）等方式即可获利，另一方面，对于训练语料获取、模型算法而言，可能会涉及专利不授权客体问题，不能进行专利保护，而即使不涉及客体问题的，由于训练等步骤的不可见性，在专利授权后也很难进行维权，因此OpenAI公司有可能通过商业秘密进行技术保护。

根據OpenAI官網公開的ChatGPT技術原理圖分析得知，ChatGPT的訓練過程分爲以下三個階段^[8]：

第一阶段：训练监督策略模型。首先会在数据集中随机抽取问题，由标注人员给出高质量答案，然后用人工标注好的数据来微调GPT-3.5模型，获得SFT（Supervised Fine-Tuning）模型。

第二阶段：训练奖励模型（Reward Model，RM）。在数据集中随机抽取问题，使用第一阶段生成的模型生成多个不同的回答。标注人员对输出进行打分排序，使用排序结果数据来训练奖励模型。

第三阶段：采用强化学习中的PPO（Proximal Policy Optimization，近端策略优化）^[9]來優化策略。首先使用第一階段中的初始權重構造一個初始的PPO模型。針對在數據集中采樣的新的問題，使用PPO模型生成回答，並用第二階段訓練好的RM模型給出回報分數。PPO策略可以會通過回報分數計算出策略梯度，並更新PPO模型參數。

2）國外主要申請人專利分析

随着2017年谷歌Transformer模型的提出，预训练语言模型开始显著发展，因此本文关于预训练语言模型技术的检索主要针对2017年之后申请的专利。在DWPI摘要数据库中，针对关键词“language model”、“train”、“fine-tune”进行简单检索，共有2600多篇专利文献。检索结果仅针对专利摘要进行检索，且为专利同族合并后的结果。

谷歌多年來陸續提出Transformer、BERT、T5等模型，目前針對Transformer申請相關美國專利（US2018341860A1，專利名“基于注意的序列轉換神經網絡”），並在中美歐日韓等多個國家布局。BERT、T5雖未申請專利，但是我們經檢索發現，其專利布局涵蓋了基于上述模型衍生的下遊任務，在多語言翻譯、文本語音轉換、完型填空、稀疏表示、情感分類等領域有所技術改進。2021年，谷歌提出了SwitchTransformer^[10]模型，采用了稀疏激活技術，擁有1.6萬億參數，相同資源情況下，訓練速度比由谷歌開發的最大語言模型T5-XXL快了4倍，谷歌就該模型申請相關PCT國際專利申請WO2022150649A1（NEURALNETWORKSWITHSWITCHLAYERS），目前並未進入任何國家階段。谷歌也在模型訓練、微調等方面開展專利布局。

图4 谷歌部分专利

基于BERT模型，微軟于2020年提出了DeBerta模型，並提交申請相關美國專利“具有解開注意力和多步解碼的高效變壓器語言模型”（US2021334475A1），利用多步解碼來更好地重建掩蔽標記並改善預訓練收斂來促進預訓練的自然語言模型的自訓練。2021年提出的LORA模型主要涉及神經網絡模型的低秩自適應，凍結了預訓練的模型權重（相關美國專利US2022383126A1）。此外，微軟也在下遊任務進行專利布局，例如其申請的PCT國際專利申請WO2022221045A1涉及多任務模型，包括例如共享編碼器、多個任務特定編碼器和用于多個任務的多個任務特定線性層等。

在Patentics的英文全文库中以“DeepMind”（DeepMind为Google旗下前沿人工智能企业）作为申请人，language model作为关键词进行检索，检索结果为27篇。DeepMind侧重于对神经网络的改进。中国专利“针对使用对抗训练的表示学习的推理的大规模生成神经网络模型”（CN113795851A），训练可以是基于损失函数，该损失函数包括基于由鉴别器神经网络处理的输入对的样本部分和潜在部分的联合鉴别器损失项和仅仅基于输入对的样本部分或潜在部分中的一个部分的至少一个单一鉴别器损失项，该专利在中美等国均有布局，根据英文库中检索得到的专利查找其中文同族，可以确定DeepMind在中国申请使用渊慧科技有限公司名称。

图5 DeepMind部分专利布局情况

由圖5可以看出，DeepMind在多模態方面也有所布局，涉及凍結語言模型的多模態少樣本學習以及使用多模態輸入選擇操作。多模態的語言模型是一種能夠同時處理不同類型的數據，如文本、圖像、音頻和視頻的人工智能技術。多模態語言模型的目標是實現跨模態的理解、生成和交互，從而提高人機對話和信息檢索的效果。谷歌近期申請了基于UI的多模態模型，例如美國專利US2023031702A1通用用戶界面轉換器（VUT），處理三種類型的數據：圖像、結構（視圖層次）和語言，並且執行多個不同的任務，諸如UI對象檢測、自然語言處理、屏幕摘要、UI可敲擊性預測。微軟的PCT國際專利申請WO2022187063A1則公開了一種視覺與語言的跨模態加工方法，基于視覺語義特征集和文本特征集來訓練目標模型，以確定輸入文本和輸入圖像之間的關聯信息。

在Patentics的中文數據庫中，以“預訓練”、“大規模”、“語言模型”、“微調”、“零/少樣本”、“知識圖譜”等作爲關鍵詞進行簡單檢索，共檢索出12292篇專利，我們可以看出國內預訓練大模型技術自2018年後開始迅速發展，鑒于目前21年、22年申請的專利未全部公開，實際上該領域的專利申請數量可能更多。

图7 人工智能大模型技术中国专利主要申请人^[11]

图8 语言大模型技术中国申请人在美国的申请量

1）國內語言模型相關專利

2019年3月，百度提出文心大模型ERNIE，隨後百度在知識圖譜、語言理解與生成技術、以及機器翻譯、對話系統、摘要生成、長文本語義、文本糾錯等領域都進行布局。其中知識圖譜包括實體知識圖譜、行業知識圖譜、事件圖譜、關注點圖譜以及多模態圖譜。

華爲與清華大學、哈爾濱工業大學、中國人民大學等高校均有合作，語言模型包括自回歸模型，並在模型訓練方法、量子電路進行模型複數運算、降低訓練PLM所需資源、文本向量等方向進行專利布局。

圖9給出了國內語言模型相關專利發展情況。其中，中國專利CN110717339A通過構建詞語片段、句子以及文章三個不同層級的無監督或弱監督預訓練任務，使得語義表示模型可以從海量數據中學習到詞語片段、句子以及文章不同層次的知識，增強了通用語義表示的能力，提升NLP任務的處理效果，百度公司的這項專利還獲得了第二十三屆2022中國專利獎優秀獎。

图9 国内语言模型相关专利发展情况

針對多模態模型，百度的中國專利CN115374798A提出將跨語言預訓練目標和跨模態預訓練目標無縫地組合在統一的框架中，從可用的英文圖像字幕數據、單語語料庫和平行語料庫在聯合嵌入空間中學習圖像和文本。華爲的中國專利CN115688937A將不同模態的數據的特征表示映射到同一個離散空間中，可以基于該離散空間對多模態的特征表示進行建模，得到兼容多模態輸入數據的模型。

2）國內人機交互應用相關專利

而針對類似于ChatGPT的人機交互應用，國內申請人也有相應的專利布局，但未進行海外布局。

目前免費版ChatGPT使用GPT-3.5版本（以下稱爲ChatGPT-3.5），具有出色的上下文對話能力，但是尚不能進行多模態交互，缺乏解決數學問題的能力，並且對于一些專業領域缺少足夠的數據進行訓練，導致無法常常無法生成適當回答。例如，筆者嘗試用ChatGPT-3.5闡述美國專利US2021334475A1的技術方案，它可以完整地描述出專利的發明名稱、技術方案等，但是這個專利文本實際上是微軟公司于2020年6月24日申請的名爲“具有解開注意力和多步解碼的高效變壓器語言模型”，公開日爲2021年10月28日，ChatGPT-3.5的回答完全文不對題。至少ChatGPT-3.5無法做到專利號和發明內容的簡單對應，這可能是缺少相關專利語料造成的。

图10 ChatGPT-3.5聊天截图

鉴于微软将GPT-4整合进NewBing中，笔者通过NewBing的聊天功能搜索美国专利US2021334475A1。虽然它能够完整的给出所有信息，但是除了发明名称是正确的，申请日、公开日、申请人、发明人信息都是错误的（见图11）。就此次结果而言，New Bing更倾向于在搜索的基础上对信息作出完整的补充，并不能保证真实性。

图11 New Bing聊天功能截图

图12 New Bing聊天功能截图

ChatGPT-3.5以及NewBing都不能完整的提供專利文件信息，那麽針對法律條款是否能獲得較好效果呢？筆者分別向ChatGPT-3.5和NewBing詢問“專利的技術方案是無法實現的，需要用到中國專利法的哪個法條”，ChatGPT給出的答案類似于使用大量法律文獻訓練模型的結果，雖然看似准確，但涉及的條款及其規定都不是中國專利法的內容，而NewBing則是搜索加工的結果，找到了適合的條款，但是法條規定的內容與該條款毫無關系。因此，ChatGPT-3.5和NewBing都不能保證生成內容的准確性。

图13 ChatGPT-3.5与New Bing聊天功能对比

探究其原因，GPT-3.5只是基于本地的语料库进行搜索，没有联网，所以对于很多无法获取的信息会进行杜撰，缺乏准确性，但是GPT-4和New Bing是具有联网形态的大语言模型，回答问题时会首先通过用户的询问在互联网上搜索相关的语料进行补充，所以可以杜绝部分杜撰的情况，但是对于非常见的问题，或者是信息缺失的情境下，还是会有编造的风险。

此外，ChatGPT的訓練和部署都需要大量算力來支持，因此可能需要更輕量化的模型。對于國內企業而言，需要通過加深國內産學研合作方式推動大模型發展。根據公開資料檢索發現，鵬城實驗室與華爲合作開發盤古大模型，與百度合作開發鵬城-百度·文心大模型；另一方面，華爲把科研院所、産業廠商等結合起來，以期更好地讓大模型産業形成正向的閉環回路。

1）強調原始創新，發展大模型可持續演化

大模型的未來需要原始性創新,也需要自我生長,向可持續、可進化的方向發展。人工智能技術近年來呈指數型發展趨勢，在當今政治經濟環境下，我們更應強調原始創新的重要性，掌握根技術，但也不能拘泥于閉門造車，要求事事從零起步，要重視國際國內合作交流，實現大模型的可持續演化。

2） 建设大模型研发设施

如今的人工智能研究，已經突破單兵作戰，“小作坊”式的埋頭鑽研無法在當下競爭日益激烈的環境中産出突破性科研成果。ChatGPT的橫空出世也是基于前期幾十億美金的投入，大成果的産出必須依托大平台。國內應大力扶持高端科研平台，從數據、算力、工程創新能力三方面，三位一體加快建設大科學設施集群。

3） 人才队伍培养

科技創新的競爭本質是科技人才的競爭。從前文分析可知，OpenAI的成功除了大量算力的投入，更重要的是聚集了大量頂尖的科學家和工程師。面向全球吸引具備攻克技術難關能力的傑出人才，選拔具備國際影響力的領軍人才，培育具備較高發展潛力的青年人才，將會是國內人工智能發展的重要手段。

4） 差异化竞争，安全伦理性加强

大模型技術的紅利期還很長，ChatGPT的火爆出圈並不代表國內完全喪失先機，只能做跟跑者。文本語言類大模型，OpenAI走在前列，但在多模態大模型領域，世界各國科學家還在攻克技術難題。國內要想在新一輪人工智能科技創新中成爲領跑者，就必須要學會差異化競爭，做出中國特色。大模型技術的演化一定會越來越強調科技倫理治理、系統安全性，在安全倫理方面的建設，突出中國價值觀，也是我們需要關注的重點。