2022年，AI內(nèi)容生成（AIGC）被Science雜志評(píng)選為2022年十大科學(xué)突破之一，這說(shuō)明AIGC無(wú)論是在技術(shù)上還是在應(yīng)用上都極具潛力。以往，AIGC也會(huì)在某一領(lǐng)域現(xiàn)象級(jí)爆火，但最后總會(huì)歸于沉寂（如Stable Diffusion繪畫生成），其落地應(yīng)用及產(chǎn)生價(jià)值一直是產(chǎn)業(yè)界和投資界探尋的方向。ChatGPT的出現(xiàn)使得AIGC強(qiáng)化了內(nèi)容與生產(chǎn)力的連接，從此AIGC的應(yīng)用不再僅僅停留于對(duì)藝術(shù)類產(chǎn)品的表達(dá)和抽象，也能有對(duì)內(nèi)容的明確反饋和更類似于人類表達(dá)習(xí)慣的描述，從而把AIGC從玩具進(jìn)化為產(chǎn)品，邁出了AIGC大規(guī)模推廣應(yīng)用的重要一步。

那么，ChatGPT是什么，ChatGPT有哪些應(yīng)用，又有哪些局限性呢？

一、ChatGPT是什么

ChatGPT是OpenAI公司發(fā)布的一款A(yù)I對(duì)話機(jī)器人，一經(jīng)發(fā)布就爆火網(wǎng)絡(luò)，自發(fā)布之日起短短五天內(nèi)已積累100萬(wàn)用戶，迅速?zèng)_上流量高峰。相較以往的對(duì)話機(jī)器人，ChatGPT能夠更好的應(yīng)對(duì)如個(gè)性化搜索任務(wù)、邏輯解析、寫作內(nèi)容以及輔助編程等自然語(yǔ)言（Nature Language Process，NLP）任務(wù)，并能夠?qū)崿F(xiàn)相對(duì)準(zhǔn)確、完整的多輪次對(duì)話。

當(dāng)然，對(duì)于一些開放式問(wèn)題，如復(fù)雜邏輯推理、預(yù)測(cè)趨勢(shì)等，ChatGPT往往給出“邏輯正確的空話”，不能完全解決問(wèn)題。但是瑕不掩瑜，ChatGPT的成功仍然是AI技術(shù)的一次重大突破，這意味著AIGC具備實(shí)用價(jià)值、能夠提升生產(chǎn)力，也意味著AI與現(xiàn)實(shí)世界的距離又近了一步。

那么，OpenAI是如何實(shí)現(xiàn)這個(gè)歷史級(jí)別的AI產(chǎn)品的呢？

二、ChatGPT的科技與狠活

ChatGPT與它的兄弟模型InstructGPT一樣，都是在GPT3.5大規(guī)模預(yù)研模型的基礎(chǔ)上進(jìn)化而來(lái)。GPT是一種生成式的預(yù)訓(xùn)練模型，最早由OpenAI團(tuán)隊(duì)于2018年發(fā)布，比近些年NLP領(lǐng)域大熱的Bert還要早上幾個(gè)月。在經(jīng)歷了數(shù)年時(shí)間的迭代，GPT系列模型有了突飛猛進(jìn)的發(fā)展。

這其中，GPT-1使用無(wú)監(jiān)督預(yù)訓(xùn)練與有監(jiān)督微調(diào)相結(jié)合的方式，GPT-2與GPT-3則都是純無(wú)監(jiān)督預(yù)訓(xùn)練的方式，相比GPT-2，GPT-3主要是在數(shù)據(jù)量、參數(shù)量方面實(shí)現(xiàn)數(shù)量級(jí)提升。GPT模型應(yīng)用于不同任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

那么，ChatGPT是如何基于GPT-3這樣的模型衍生出的呢？OpenAI并未公布ChatGPT的技術(shù)細(xì)節(jié)，從網(wǎng)絡(luò)公開信息和論文來(lái)看，ChatGPT應(yīng)用帶有人工標(biāo)注反饋的強(qiáng)化學(xué)習(xí)（Reinforcement Learning from Human Feedback，RLHF），使用GPT3.5大規(guī)模語(yǔ)言模型作為初始網(wǎng)絡(luò)結(jié)構(gòu)，使用收集數(shù)據(jù)增強(qiáng)的InstructGPT進(jìn)行模型訓(xùn)練，訓(xùn)練過(guò)程可以大致分為三個(gè)步驟：

1.監(jiān)督調(diào)優(yōu)預(yù)訓(xùn)練模型

在少量標(biāo)注數(shù)據(jù)上對(duì)預(yù)訓(xùn)練模型進(jìn)行調(diào)優(yōu)，輸出有監(jiān)督策略微調(diào)（Supervised Fine Tuning，SFT）模型。

該步驟可細(xì)分為三步：

（1）收集數(shù)據(jù)形成提示數(shù)據(jù)集（prompt dataset），內(nèi)含大量的提示文本用于介紹任務(wù)內(nèi)容，即提問(wèn)題；

（2）有標(biāo)注員對(duì)提示列表進(jìn)行標(biāo)注，即回答問(wèn)題；

（3）使用這個(gè)標(biāo)注過(guò)的prompt dataset微調(diào)預(yù)訓(xùn)練模型。

關(guān)于預(yù)訓(xùn)練模型的選擇，ChatGPT選擇了 GPT-3.5 系列中的預(yù)訓(xùn)練模型（text-davinci-003），而不是對(duì)原始 GPT-3 模型進(jìn)行調(diào)優(yōu)。

2.訓(xùn)練獎(jiǎng)勵(lì)模型

標(biāo)注者們對(duì)相對(duì)大量的 SFT 模型輸出進(jìn)行投票，這就創(chuàng)建了一個(gè)由比較數(shù)據(jù)組成的新數(shù)據(jù)集。在此數(shù)據(jù)集上訓(xùn)練的新模型，被稱為獎(jiǎng)勵(lì)模型（Reward Model，RM）。

該步驟也可細(xì)分為三步：

（1）使用SFT模型預(yù)測(cè)prompt dataset中的任務(wù)，每個(gè)prompt任務(wù)生成4到9個(gè)結(jié)果；

（2）標(biāo)注員對(duì)每個(gè)prompt的預(yù)測(cè)結(jié)果，按從好到壞順序進(jìn)行標(biāo)注；

（3）用標(biāo)注結(jié)果訓(xùn)練一個(gè)RM模型。

3.使用強(qiáng)化學(xué)習(xí)方法持續(xù)優(yōu)化模型

應(yīng)用強(qiáng)化學(xué)習(xí)中的近端策略優(yōu)化（Proximal Policy Optimization，PPO）技術(shù)，進(jìn)一步優(yōu)化獎(jiǎng)勵(lì)模型以實(shí)現(xiàn)調(diào)優(yōu)SFT模型。

該步驟可細(xì)分為五步：

（1）收集數(shù)據(jù)形成新的prompt dataset；

（2）將PPO策略應(yīng)用于有監(jiān)督數(shù)據(jù)微調(diào)過(guò)的的預(yù)訓(xùn)練模型；

（3）通過(guò)模型預(yù)測(cè)新的prompt dataset，得到數(shù)個(gè)輸出；

（4）使用獎(jiǎng)勵(lì)模型對(duì)數(shù)個(gè)輸出進(jìn)行打分，計(jì)算獎(jiǎng)勵(lì)分值（reward）；

（5）使用reward對(duì)基于PPO策略的模型進(jìn)行迭代更新。

以上三個(gè)步驟中，步驟一只進(jìn)行一次，步驟二和步驟三持續(xù)重復(fù)進(jìn)行，直至最終形成一個(gè)成熟穩(wěn)定的模型。

ChatGPT模型構(gòu)建過(guò)程值得借鑒的有兩點(diǎn)：一是在強(qiáng)化學(xué)習(xí)中使用獎(jiǎng)勵(lì)模型，訓(xùn)練過(guò)程更穩(wěn)定且更快收斂。在傳統(tǒng)NLP任務(wù)中，對(duì)話模型的設(shè)計(jì)一直是個(gè)難點(diǎn)，引入了強(qiáng)化學(xué)習(xí)后，雖然可以解決對(duì)話問(wèn)題，但如何建模獎(jiǎng)勵(lì)機(jī)制又成為了設(shè)計(jì)難題。ChatGPT采用訓(xùn)練獎(jiǎng)勵(lì)模型并不斷迭代的方案，以一個(gè)提示詞和多個(gè)響應(yīng)值作為訓(xùn)練輸入，并輸出獎(jiǎng)勵(lì)模型，實(shí)現(xiàn)了訓(xùn)練的收斂。

二是使用SFT策略微調(diào)模型，有效利用大模型能力，同時(shí)避免過(guò)擬合。GPT-3用對(duì)應(yīng)的SFT數(shù)據(jù)集訓(xùn)練16次完整數(shù)據(jù)集，每一次都是一個(gè)輸入對(duì)應(yīng)一個(gè)輸出，對(duì)比獎(jiǎng)勵(lì)模型，給與獎(jiǎng)勵(lì)或者懲罰，但是這樣訓(xùn)練的過(guò)擬合程度較高，甚至在第一次完整數(shù)據(jù)集訓(xùn)練后已經(jīng)存在過(guò)擬合現(xiàn)象。ChatGPT在GPT-3基礎(chǔ)上進(jìn)行了優(yōu)化，每個(gè)輸入對(duì)應(yīng)多個(gè)輸出，人工進(jìn)行輸出結(jié)果排序，這樣就能夠讓訓(xùn)練過(guò)程更接近人類思維模式，也有效避免了過(guò)擬合。

三、ChatGPT的局限性分析

當(dāng)然，就像前文提到的，ChatGPT也并非完美無(wú)缺，仍有一定的優(yōu)化空間，筆者將從技術(shù)角度嘗試進(jìn)行初步分析。

1.不可信性

對(duì)于AI對(duì)話生成模型而言，可解釋性很重要，尤其是在推理、反饋等場(chǎng)合更需要嚴(yán)謹(jǐn)可追溯的解答，但是ChatGPT并沒(méi)有針對(duì)問(wèn)題來(lái)源做解釋說(shuō)明，這會(huì)導(dǎo)致其答案在部分場(chǎng)景中不可信，在部分領(lǐng)域的應(yīng)用中受限。

2.誘導(dǎo)立場(chǎng)

可能是由于提示學(xué)習(xí)的原因，ChatGPT 在對(duì)話中對(duì)提問(wèn)詞的內(nèi)容比較敏感，容易被提示詞誘導(dǎo)，若初始提示或問(wèn)題存在歧義或者倫理、道德層面的瑕疵，則模型會(huì)按照當(dāng)前理解給出答案而不是反饋和糾正問(wèn)題，這可能會(huì)導(dǎo)致ChatGPT強(qiáng)大的能力被用于一些非法、違規(guī)的場(chǎng)景，帶來(lái)不必要的損失。

3.信息誤判

ChatGPT的熱啟動(dòng)雖然在大部分內(nèi)容生成中能夠給出大體上完整的答案，但是一部分回答會(huì)存在事實(shí)性錯(cuò)誤，同時(shí)為了使得答案看起來(lái)更完整，ChatGPT會(huì)根據(jù)提示詞生成冗余的內(nèi)容用以修飾。在輔助決策的場(chǎng)景中，這種錯(cuò)誤回答被淹沒(méi)在大量冗余修飾之中，更不容易被察覺(jué)，這導(dǎo)致的信息誤判也限制了ChatGPT應(yīng)用于類似場(chǎng)景。

4.迭代成本

ChatGPT雖然具備內(nèi)容生成能力，但是由于其本身是基于“大模型+人工標(biāo)注訓(xùn)練”的模式進(jìn)行內(nèi)容輸出，當(dāng)采納新的信息時(shí)，需要對(duì)大模型進(jìn)行重新訓(xùn)練，這將導(dǎo)致模型迭代訓(xùn)練成本過(guò)高，也間接導(dǎo)致ChatGPT對(duì)于新知識(shí)的學(xué)習(xí)更新存在一定時(shí)間區(qū)間的斷檔，這尤其限制了其在實(shí)時(shí)搜索領(lǐng)域的進(jìn)一步發(fā)展。

四、ChatGPT帶來(lái)的啟示

ChatGPT引起轟動(dòng)的原因是因?yàn)槿藗凅@訝于它遠(yuǎn)超前輩的泛用性和大幅度提升的回答問(wèn)題的能力，但這背后的影響其實(shí)遠(yuǎn)遠(yuǎn)不止這些：

1.有可能帶來(lái)NLP研究范式的變革

ChatGPT迅速走紅的背后，可以說(shuō)是GPT類自回歸類語(yǔ)言模型的一次翻身仗。NLP領(lǐng)域近些年來(lái)另一熱門的模型當(dāng)屬Bert。Bert與GPT都是基于Transformer思想產(chǎn)生的大型預(yù)訓(xùn)練模型，但二者之間存在不少差異，簡(jiǎn)單來(lái)說(shuō)，Bert是雙向語(yǔ)言模型，更多應(yīng)用于自然語(yǔ)言理解任務(wù)，而GPT則是自回歸語(yǔ)言模型（即從左到右單向語(yǔ)言模型），更多應(yīng)用于自然語(yǔ)言生成任務(wù)。

ChatGPT所表現(xiàn)出的強(qiáng)大能力有理由讓人相信，自回歸語(yǔ)言模型一樣能達(dá)到甚至趕超雙向語(yǔ)言模型的路線，甚至在未來(lái)統(tǒng)一理解、生成兩類任務(wù)的技術(shù)路線也未可知。

2.大型語(yǔ)言模型（Large Language Model， LLM）交互接口的革新

ChatGPT最突出的特點(diǎn)可以概括為：能力強(qiáng)大，善解人意?！澳芰?qiáng)大”歸功于其依托的GPT3.5，巨量語(yǔ)料、算力的結(jié)晶使模型蘊(yùn)含的知識(shí)幾乎覆蓋了各個(gè)領(lǐng)域。而“善解人意”則有可能要?dú)w功于其訓(xùn)練過(guò)程中加入的人工標(biāo)注數(shù)據(jù)。這些人工標(biāo)注數(shù)據(jù)向GPT3.5注入了“人類偏好”知識(shí)，從而能夠理解人的命令，這是它“善解人意”的關(guān)鍵。

ChatGPT的最大貢獻(xiàn)在于它幾乎實(shí)現(xiàn)了理想的LLM交互接口，讓LLM適配人的習(xí)慣命令表達(dá)方式，而不是反過(guò)來(lái)讓人去適配LLM，這大大提升了LLM的易用性和用戶體驗(yàn)，而這必將啟發(fā)后續(xù)的LLM模型，繼續(xù)在易用人機(jī)接口方面做進(jìn)一步的工作，讓LLM更聽(tīng)話。

3. LLM技術(shù)體系將囊括NLP外更多領(lǐng)域

理想的LLM模型所能完成的任務(wù)，不應(yīng)局限于NLP領(lǐng)域，而應(yīng)該是領(lǐng)域無(wú)關(guān)的通用人工智能模型，它現(xiàn)在在某一兩個(gè)領(lǐng)域做得好，不代表只能做這些任務(wù)。ChatGPT的出現(xiàn)證明了通用人工智能（Artificial General Intelligence，AGI）是有可行性的。

ChatGPT除了能以流暢的對(duì)話形式解決各種NLP任務(wù)外，也具備強(qiáng)大的代碼能力，可以預(yù)見(jiàn)，之后越來(lái)越多的研究領(lǐng)域也會(huì)逐步納入LLM體系中，成為通用人工智能的一部分。這個(gè)方向方興未艾，未來(lái)可期。

五、ChatGPT的應(yīng)用展望

ChatGPT使用了當(dāng)下先進(jìn)的AI框架，具備較高的成熟度，是AI技術(shù)發(fā)展浪潮中產(chǎn)生的優(yōu)秀產(chǎn)品。但是正如前文分析，ChatGPT也有其自身的局限性。農(nóng)業(yè)銀行基于大數(shù)據(jù)體系、AI平臺(tái)所提供的“數(shù)據(jù)+AI”能力，結(jié)合ChatGPT的相關(guān)技術(shù)，同時(shí)設(shè)法規(guī)避ChatGPT的固有問(wèn)題，逐步賦能場(chǎng)景，有著巨大的想象空間。

1.營(yíng)銷自動(dòng)化

綜合使用AIGC技術(shù)，結(jié)合現(xiàn)有的個(gè)性化推薦、實(shí)時(shí)計(jì)算能力以及AutoML等技術(shù)，可以解決線上線下協(xié)同營(yíng)銷過(guò)程中的自動(dòng)化斷點(diǎn)問(wèn)題，實(shí)現(xiàn)營(yíng)銷策略自動(dòng)生成和迭代、自動(dòng)AB實(shí)驗(yàn)、渠道自動(dòng)分流，并實(shí)現(xiàn)自動(dòng)生成營(yíng)銷話術(shù)、廣告頭圖等運(yùn)營(yíng)內(nèi)容，從而實(shí)現(xiàn)完整的自動(dòng)化營(yíng)銷閉環(huán)。

2.風(fēng)險(xiǎn)識(shí)別

基于ChatGPT背后的GPT等LLM模型技術(shù)，可實(shí)現(xiàn)對(duì)關(guān)鍵要素提取、資料自動(dòng)化審核、風(fēng)險(xiǎn)點(diǎn)提示等風(fēng)控領(lǐng)域的業(yè)務(wù)流程，提升風(fēng)控相關(guān)業(yè)務(wù)的自動(dòng)化水平。

3.個(gè)性化搜索引擎

以GPT生成式問(wèn)答為主體，結(jié)合現(xiàn)有的NLP、搜索引擎、知識(shí)圖譜和個(gè)性化推薦等AI能力，綜合考慮用戶的提示詞標(biāo)注、知識(shí)結(jié)構(gòu)、用戶習(xí)慣等進(jìn)行應(yīng)對(duì)用戶對(duì)應(yīng)問(wèn)題的內(nèi)容生成和展示，并可以給出索引URL，這樣既能解決現(xiàn)有檢索引擎的準(zhǔn)確性、個(gè)性化難題，又能彌補(bǔ)GPT的可信、更新問(wèn)題，在技術(shù)上形成互補(bǔ)，在用戶使用過(guò)程中實(shí)現(xiàn)完整的、一致的搜索體驗(yàn)。

4.增強(qiáng)知識(shí)圖譜

使用GPT生成技術(shù)，結(jié)合知識(shí)圖譜技術(shù)，可從當(dāng)前實(shí)體關(guān)系圖中生成擴(kuò)展圖，在知識(shí)圖譜引擎原有的隱性集團(tuán)識(shí)別、深度鏈擴(kuò)散、子圖篩選等能力基礎(chǔ)上，擴(kuò)展出更高維度、更大范圍的隱性關(guān)系識(shí)別，能夠提升風(fēng)險(xiǎn)識(shí)別、反欺詐的識(shí)別范圍和準(zhǔn)確程度。

5.內(nèi)容創(chuàng)作

基于ChatGPT技術(shù)，結(jié)合農(nóng)業(yè)銀行行內(nèi)語(yǔ)料進(jìn)行適應(yīng)性訓(xùn)練，可面向資訊、產(chǎn)品、廣告提供便捷且高質(zhì)量的內(nèi)容生成能力，既能提升內(nèi)容運(yùn)營(yíng)的效率，又能幫助用戶更快地獲取、理解和分析復(fù)雜的信息，從而進(jìn)一步提升用戶運(yùn)營(yíng)轉(zhuǎn)化率。

6.輔助編程

相對(duì)于Copilot，ChatGPT類似技術(shù)的迭代反饋能力更為強(qiáng)大，能夠通過(guò)提示、輔助、補(bǔ)充等方式生成部分代碼，能夠在簡(jiǎn)單邏輯代碼實(shí)施中有效減少重復(fù)勞動(dòng)，在復(fù)雜架構(gòu)設(shè)計(jì)中鋪墊微創(chuàng)新的基礎(chǔ)，如應(yīng)用得當(dāng)，會(huì)提升開發(fā)效率和交付質(zhì)量。

7.智能客服

AI生成的對(duì)話可以快速應(yīng)用于問(wèn)題解答、營(yíng)銷話術(shù)等，能夠提升問(wèn)題解答的準(zhǔn)確程度、給出相對(duì)靠譜的回答，并能結(jié)合個(gè)性化推薦系統(tǒng)的應(yīng)用給出用戶的營(yíng)銷線索，實(shí)現(xiàn)更標(biāo)準(zhǔn)、更貼心的用戶服務(wù)。

ChatGPT乘風(fēng)而來(lái)，農(nóng)業(yè)銀行在探索AI新技術(shù)、追逐AI新應(yīng)用的腳步也從未停歇。就在近期，農(nóng)業(yè)銀行正在探索基于生成式大模型，結(jié)合金融領(lǐng)域相關(guān)文本語(yǔ)料，通過(guò)AI平臺(tái)-NLP智能服務(wù)引擎提供特定業(yè)務(wù)場(chǎng)景下的文本生成、文本理解服務(wù)，近期該服務(wù)的alpha版本也即將在AI平臺(tái)的AI商店上線，面向種子用戶開放試用。

下一步，NLP智能服務(wù)引擎計(jì)劃收集更多的銀行業(yè)內(nèi)相關(guān)的語(yǔ)料數(shù)據(jù)，基于大模型不斷迭代優(yōu)化出更具專業(yè)特色、更符合場(chǎng)景需求的自然語(yǔ)言理解與自然語(yǔ)言生成模型，讓更多人乘上這輛急速前進(jìn)、不斷進(jìn)化的AI快車。

隨著AI技術(shù)的深入發(fā)展和應(yīng)用，定會(huì)不斷誕生類似于ChatGPT的爆款產(chǎn)品，這類產(chǎn)品成功的邏輯是伴隨人工智能技術(shù)的發(fā)展和創(chuàng)新，綁定具體場(chǎng)景應(yīng)用，以滿足用戶的認(rèn)知和期待。農(nóng)業(yè)銀行遵循這一規(guī)律，在AI技術(shù)創(chuàng)新、AI應(yīng)用創(chuàng)新方面不斷探索，以用帶建，螺旋上升，在數(shù)字化轉(zhuǎn)型的浪潮中，以數(shù)據(jù)為基礎(chǔ)要素，以AI為重要抓手，逐步賦能總分行場(chǎng)景應(yīng)用，讓大家了解AI，用上AI，用好AI，充分挖掘數(shù)據(jù)和AI的價(jià)值，讓數(shù)據(jù)和AI在銀行業(yè)務(wù)經(jīng)營(yíng)管理活動(dòng)中起到更加基礎(chǔ)和重要的作用。

返回列表