作者| 張雪

AI領(lǐng)域好久沒(méi)有因?yàn)橐豁?xiàng)新技術(shù)而變得熱鬧了。

在人們當(dāng)下的認(rèn)知里，AI早已被“神化”，變得無(wú)所不能，似乎沒(méi)有什么新功能能夠讓人驚掉下巴，大呼“不可思議”。

然而，在這個(gè)同樣被魔幻化的2020年，一項(xiàng)再次震驚業(yè)內(nèi)的AI新技術(shù)出現(xiàn)了，它就是—GPT-3，簡(jiǎn)單理解就是文本生成器，旨在從起始輸入開(kāi)始生成單詞，代碼或其他數(shù)據(jù)的序列。目前，GPT-3可以寫(xiě)富有創(chuàng)意的小說(shuō)，可以生成功能代碼，也可以做數(shù)學(xué)上的加減法。

那么這個(gè)GPT-3究竟厲害在何處，會(huì)不會(huì)又是個(gè)曇花一現(xiàn)的新噱頭？抱著這些疑問(wèn)，虎嗅翻看了由31位作者寫(xiě)的72頁(yè)論文，以期發(fā)現(xiàn)晦澀專(zhuān)業(yè)術(shù)語(yǔ)掩蓋下的GPT-3的魅力之處。

帶著光環(huán)出生

在談到GPT-3這項(xiàng)技術(shù)之前，不妨先來(lái)看看其背景。

GPT-3是由人工智能組織OpenAI開(kāi)發(fā)的語(yǔ)言。該組織成立于2015年成立，旨在更安全地使用人工智能，防止人工智能去毀滅世界，是一家非盈利組織。其聯(lián)合創(chuàng)始人包括特斯拉CEO馬斯克、著名孵化器 Y Combinator 前 CEO 山姆·奧特曼以及著名投資人彼得·蒂爾等。

起初，在2015年，OpenAI的啟動(dòng)資金為10億美元，但在研發(fā)AI模型的過(guò)程中，OpenAI承受的經(jīng)濟(jì)壓力也越來(lái)越大的經(jīng)濟(jì)，2018年，在不同意公司的發(fā)展方向后，馬斯克于2018年離開(kāi)了OpenAI。

沒(méi)過(guò)多久，OpenAI開(kāi)始轉(zhuǎn)變?yōu)橛怨荆筮€獲得了微軟10億美元的投資。據(jù)悉，這次OpenAI的API服務(wù)就與微軟注資和Azure的技術(shù)支持密不可分。目前微軟成為了OpenAI的獨(dú)家云供應(yīng)商，同時(shí) OpenAI 也會(huì)和微軟合作開(kāi)發(fā) Azure AI 超級(jí)計(jì)算技術(shù)，并授權(quán)微軟使用其部分技術(shù)進(jìn)行商業(yè)化。

值得一提的是，此前NLP（自然語(yǔ)言處理）并不是Open AI最為關(guān)注的領(lǐng)域，不過(guò)他們?cè)谧匀徽Z(yǔ)言處理方面成果一直是業(yè)內(nèi)關(guān)注的重點(diǎn)。

按照常理，GPT-3之前已經(jīng)有了GPT和GPT-2。查閱資料，可以發(fā)現(xiàn)GPT和GPT-2分別在2018年和2019年2月由OpenAI發(fā)布。

具體來(lái)看， GPT是Generative Pre-training Transformer的簡(jiǎn)稱(chēng)，是由Alec Radford編寫(xiě)的語(yǔ)言模型，它采用了生成式語(yǔ)言模型（兩個(gè)神經(jīng)網(wǎng)絡(luò)通過(guò)競(jìng)爭(zhēng)相互完善），通過(guò)對(duì)不同的書(shū)面材料集與長(zhǎng)篇連載文本的預(yù)訓(xùn)練，能夠獲取世界知識(shí)并處理長(zhǎng)程依賴(lài)關(guān)系。

GPT-2是一個(gè)無(wú)監(jiān)督的轉(zhuǎn)化語(yǔ)言模型，該模型以40GB文本進(jìn)行了訓(xùn)練，適合識(shí)別附近的單詞，用于自我思考，使專(zhuān)家能夠創(chuàng)作出極具說(shuō)服力和連貫性的作品。

比如有人使用GPT-2 來(lái)重寫(xiě)《權(quán)利的游戲》的結(jié)局，并得到了大多數(shù)網(wǎng)友的認(rèn)可，“AI改寫(xiě)的新結(jié)局比電視劇的版本要好”。

據(jù)報(bào)道，馬斯克并不愿意發(fā)布GPT-2，因?yàn)樗麚?dān)心它可能被用來(lái)向社交網(wǎng)絡(luò)發(fā)送假新聞，因此，OpenAI選擇不公布完整的GPT-2模型。正是如此，行業(yè)內(nèi)還曾質(zhì)疑這是出于對(duì)自家產(chǎn)品的過(guò)于自信，甚至還被懷疑是一種炒作說(shuō)法。

不管怎樣，可以肯定在GPT-2的發(fā)布與應(yīng)用已經(jīng)達(dá)到了出圈的效果。而GPT-3主要目標(biāo)是在GPT-2的基礎(chǔ)上用更少的領(lǐng)域數(shù)據(jù)、且不經(jīng)過(guò)精調(diào)步驟去解決問(wèn)題。

所以承載著滿滿期待的GPT-3一經(jīng)面世就備受矚目，還需要指出的是，GPT-3的 API服務(wù)也是Open AI第一個(gè)商業(yè)化的項(xiàng)目，同樣也肩負(fù)著營(yíng)收的重?fù)?dān)。

突破和延續(xù)

外行人看熱鬧，內(nèi)行人看門(mén)道。

關(guān)于對(duì)GPT-3的評(píng)價(jià)，業(yè)內(nèi)也是褒貶不一，有人說(shuō)它是跟新冠病毒一樣，是來(lái)消滅人類(lèi)的；有人說(shuō)它是繼比特幣之后，又一個(gè)顛覆性的新技術(shù)。一個(gè)事實(shí)是，文本生成器早在幾年前就已經(jīng)出現(xiàn)了，甚至還曾被報(bào)道稱(chēng)，要取代文字工作者，而現(xiàn)在除了少部分企業(yè)應(yīng)用之外，其存在感著實(shí)平平。

雖然這些日子，GPT-3因其在有限輸入下可實(shí)現(xiàn)令人難以置信的事情而成為頭條新聞，并引起廣泛的討論，但在內(nèi)行人看來(lái)，其只是在模型參數(shù)上邁出了一大步，而這還沒(méi)有GPT-2帶來(lái)的突破大。

毋庸置疑，它是有史以來(lái)功能最強(qiáng)大的語(yǔ)言模型，這主要?dú)w功于擁有1750億個(gè)模型參數(shù)，它的算力特別大，訓(xùn)練這樣一個(gè)模型大約要花費(fèi)1200 萬(wàn)美金。相比之下，它的前身模型GPT-2只有15億個(gè)參數(shù)。

更為形象一點(diǎn)，據(jù)知乎網(wǎng)友@TechOnly，人類(lèi)大腦擁有1000億個(gè)神經(jīng)細(xì)胞(百度百科)，而在人長(zhǎng)大的過(guò)程中，神經(jīng)細(xì)胞數(shù)量沒(méi)有增加，而是神經(jīng)連接復(fù)雜度在增加，說(shuō)明GPT3的內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)和訓(xùn)練策略有很大提升空間，而GPT3 1700億的參數(shù)的存儲(chǔ)也許夠了，感覺(jué)未來(lái)五年到十年NLP還會(huì)有巨大突破性發(fā)展。

可怕的是，從某種程度上來(lái)說(shuō)，人類(lèi)尚不清楚GPT-3到底有多大的能耐。

此外，GPT-3主要聚焦于更通用的NLP模型，研究者們希望 GPT-3 能夠解決當(dāng)前 BERT 等模型的兩個(gè)不足之處：對(duì)領(lǐng)域內(nèi)有標(biāo)記數(shù)據(jù)的過(guò)分依賴(lài)以及對(duì)于領(lǐng)域數(shù)據(jù)分布的過(guò)擬合。

當(dāng)GPT-3拋開(kāi)華麗的參數(shù)外表，在本質(zhì)上，其技術(shù)架構(gòu)上的突破是微乎其微的，更多是是延續(xù)了GPT-2的單向語(yǔ)言模型訓(xùn)練方式，而GPT-2 則展示了一種對(duì)語(yǔ)言的全新理解方式。

對(duì)此，一位GPT-2 的熱心用戶(hù)還發(fā)表文章稱(chēng)：“GPT-3是一個(gè)令人失望的語(yǔ)言模型”，文章指出：

把它叫做“GPT-3”很礙眼，而且會(huì)誤導(dǎo)人。GPT-2（可以說(shuō)）是一項(xiàng)開(kāi)創(chuàng)性的進(jìn)步，因?yàn)樗谝淮蜗蛉藗冋故玖舜笠?guī)模的 transformer 擁有多大的力量。所以GPT-3 完全稱(chēng)不上什么本質(zhì)上的進(jìn)步，甚至在新的基準(zhǔn)測(cè)試SuperGLUE上表現(xiàn)都不怎么樣，它也就相當(dāng)于把人的右手綁背后還能勉強(qiáng)畫(huà)一幅畫(huà)的水平。

硬幣的兩面

除了外界的熱議，OpenAI在GPT -3身上也有著猶豫和糾結(jié)，畢竟講好商業(yè)故事，某種程度上會(huì)犧牲部分情懷。

一方面，可以預(yù)見(jiàn)GPT -3給AI行業(yè)，乃至整個(gè)社會(huì)帶來(lái)的改變被看做是顛覆性的，它涉及到倫理，偏見(jiàn)，種族歧視等諸多因素，而OpenAI的初衷是為了讓人們更安全地使用AI，而現(xiàn)在或多或少，GPT -3與這個(gè)初衷相悖了。

ZeroCrater的創(chuàng)始人兼企業(yè)家Arram Sabeti在一篇博客文章中寫(xiě)道：“它比我嘗試過(guò)的任何AI語(yǔ)言系統(tǒng)都更加連貫。GPT -3：一種非常擅長(zhǎng)編寫(xiě)幾乎任何東西的AI?！?/p>

“你所要做的就是編寫(xiě)一個(gè)提示，并添加可能認(rèn)為會(huì)跟進(jìn)的文本。我已經(jīng)寫(xiě)了歌，故事，新聞稿，吉他譜，訪談，論文，技術(shù)手冊(cè)。這很有趣而且令人恐懼。我覺(jué)得我已經(jīng)看到了未來(lái)。”

在GPT-3論文中，研究者還表明GPT-3可以生成人工評(píng)估人員難以區(qū)分的合成新聞文章，而這種“以假亂真”無(wú)形之中就會(huì)助長(zhǎng)假新聞、欺詐、水軍等現(xiàn)象。

另外早在今年4月30日，通訊軟件sendblue的員工尼基塔.杰休（Nikita Jerschow）就在社交媒體上發(fā)帖稱(chēng)，他讓2個(gè)GPT-3的AI辯論股票市場(chǎng)，結(jié)果AI竟然談?wù)撈鹆巳祟?lèi)的局限性，讓人不寒而栗。

說(shuō)實(shí)話，即便如此，這些常規(guī)的文本操作在業(yè)內(nèi)人眼里也并不值得一提，因?yàn)槲谋旧稍缫咽撬究找?jiàn)慣的事情，以至于我在一個(gè)月前體驗(yàn)GPT-3的文本生成功能時(shí)，因?yàn)闆](méi)有看到驚喜，所以草草地就關(guān)了頁(yè)面。

除了這些常規(guī)項(xiàng)目，GPT-3在代碼編程領(lǐng)域帶來(lái)的改變才算得上是驚人。GPT-3經(jīng)過(guò)了整個(gè)互聯(lián)網(wǎng)數(shù)千億個(gè)單詞的訓(xùn)練，它能夠使用CSS、JSX、Python等任何一種語(yǔ)言編程。

舉例來(lái)講，一位從業(yè)者編寫(xiě)了一個(gè)布局生成器，用戶(hù)使用純文本來(lái)描述他們所需要的內(nèi)容，然后模型生成相應(yīng)的代碼。

另一方面，OpenAI期望投入如此巨大的GPT -3能夠在營(yíng)收，甚至盈利上帶來(lái)回報(bào)，但現(xiàn)在商用模式，產(chǎn)品定價(jià)等等都不算明確，還被外界調(diào)侃為“擠牙膏”。

作為OpenAI 的首款商用產(chǎn)品，目前該文本生成 API 正在分發(fā)早期版本，以便開(kāi)發(fā)人員和商人可以測(cè)試該程序并為潛在的購(gòu)買(mǎi)者發(fā)現(xiàn)其用例，售價(jià)也不得而知。

不過(guò)官網(wǎng)顯示，目前為止，OpenAI已經(jīng)與十幾家公司合作，其中包括搜索服務(wù)提供商 Algolia、精神健康平臺(tái) Koko、Replika、以及社交媒體平臺(tái) Reddit等等。

以至于，為什么OpenAI選擇發(fā)布API而不是開(kāi)源模型？OpenAI官方表示三個(gè)主要原因：

首先，將技術(shù)商業(yè)化有助于為正在進(jìn)行的AI研究、安全和政策工作付費(fèi)。

其次，API的許多基礎(chǔ)模型非常龐大，需要大量的專(zhuān)業(yè)知識(shí)來(lái)進(jìn)行開(kāi)發(fā)和部署，并且運(yùn)行起來(lái)非常昂貴，這使得除了大公司以外的任何人都很難從基礎(chǔ)技術(shù)中受益 。

第三，API模型可以更輕松地應(yīng)對(duì)技術(shù)濫用。由于很難預(yù)測(cè)我們模型的下游用例，因此通過(guò)API釋放它們并隨著時(shí)間的推移擴(kuò)展訪問(wèn)范圍。

不可否認(rèn)，即使是OpenAI亮出的GPT -3也將面臨著AI領(lǐng)域落地難的普遍問(wèn)題。

對(duì)于GPT -3的盈利前景，知乎網(wǎng)友@Dr.Wu表示，“GPT-3可能還是無(wú)法幫助OpenAI盈利，也無(wú)法直接上線顯著造福網(wǎng)民，但是從中積累的大模型訓(xùn)練經(jīng)驗(yàn)是OpenAI和他背后的微軟Azure一筆巨大的財(cái)富。這就像，人類(lèi)登上火星/月球可能并不能帶來(lái)直接的資源收益，但是從中積累的科學(xué)技術(shù)卻可以推動(dòng)人類(lèi)社會(huì)的發(fā)展?！?/p>