ChatGPT（智能聊天）和AIGC（智能內(nèi)容生成）爆火出圈，引發(fā)全民狂歡。隨之而來的GPT4大模型更是讓人瞠目結(jié)舌，似乎通用人工智能（AGI）就要呼之欲出了。但同時(shí)，一批AI學(xué)者、科學(xué)家、哲學(xué)家或企業(yè)家大咖們，卻憂心忡忡，有人甚至到了夜不能寐的地步。

2023年3月29日，由圖靈獎(jiǎng)得主、深度學(xué)習(xí)三巨頭之一本吉奧，特斯拉CEO馬斯克、蘋果聯(lián)合創(chuàng)始人沃茲尼亞克、《人類簡史》作者赫拉利等人聯(lián)名發(fā)表公開信，呼吁所有AI實(shí)驗(yàn)室立即暫停訓(xùn)練比GPT4更強(qiáng)大的AI系統(tǒng)，為期至少6個(gè)月，以確保人類能夠有效管理其風(fēng)險(xiǎn)。這封公開信已經(jīng)有上千名全球科技界人士聯(lián)署。

2023年5月30日，“深度學(xué)習(xí)之父”的辛頓在退出谷歌后，再次牽頭發(fā)表公開聲明，呼吁“為減輕人工智能帶來的滅絕風(fēng)險(xiǎn)，應(yīng)該與流行病和核戰(zhàn)爭等其他社會(huì)規(guī)模的風(fēng)險(xiǎn)一樣，成為全球優(yōu)先事項(xiàng)”。結(jié)果又有幾百名AI科學(xué)家和企業(yè)家簽名表達(dá)支持，其中就包括創(chuàng)造出ChatGPT的OpenAI公司CEO阿爾特曼，以及創(chuàng)造出AlphaGo的DeepMind公司CEO哈薩比斯等人。

過去的技術(shù)進(jìn)步給社會(huì)帶來的沖擊已經(jīng)屢見不鮮。從機(jī)器革命到信息革命，再到基因革命，每次我們都充分享受了它們帶來的巨大成果，并推動(dòng)社會(huì)不斷向前發(fā)展。雖然其中也有一些抗議、波折甚至沖突，但最后不也都相安無事、習(xí)以為常了嗎！但為什么這次以ChatGPT大模型技術(shù)突破帶來的智能革命這么讓人感到擔(dān)心呢？這些大咖們都在緊張些什么呢？我覺得可能主要是因?yàn)橐韵氯齻€(gè)原因。

什么是“涌現(xiàn)”？就是系統(tǒng)整體上突然呈現(xiàn)出一些新的性質(zhì)或行為，而這些性質(zhì)和行為往往無法從局部直接得到。ChatGPT就有這個(gè)特點(diǎn)：人類訓(xùn)練它的只是局部語言應(yīng)該如何接續(xù)，但由于建立的語言連接越來越復(fù)雜，終于在某一時(shí)刻超過了某個(gè)閾值，它就像“活了過來”一樣，突然“會(huì)說人話”，顯得好像具有了智能。這就是智能的涌現(xiàn)?？茖W(xué)家們過去一直在追求，但從來沒有發(fā)生過。

科學(xué)研究已經(jīng)證明，這種涌現(xiàn)確實(shí)存在，而且也不是偶然現(xiàn)象。過去大多數(shù)所謂的智能問答系統(tǒng)，比如“Siri”“小度”“小愛同學(xué)”等，與它們的會(huì)話要么范圍很窄，要么無法連續(xù)進(jìn)行，很難讓我們覺得它們真有智能。但ChatGPT則不然，對(duì)答如流，有求必應(yīng)。即使它“一本正經(jīng)的胡說八道”，反而更讓我們覺得它有“智能”，因?yàn)槿耸遣粫?huì)教他這樣說話的，而是它自己說出來的。

能涌現(xiàn)出智能這不很好嘛！那大咖們緊張什么呢？這是因?yàn)檫@種“智能涌現(xiàn)”并不都在人類的掌控之中。作為復(fù)雜系統(tǒng)的典型性質(zhì)，智能涌現(xiàn)具有很多典型的特征：一是相變性效果，也就是一旦發(fā)生涌現(xiàn)，產(chǎn)生的整體性質(zhì)和效果改變往往很大。就像水本來很柔軟，但一旦結(jié)成冰就會(huì)變得堅(jiān)硬無比一樣，智能一旦發(fā)生涌現(xiàn)，其結(jié)果一定驚人。ChatGPT以及其后各項(xiàng)AIGC的能力就是證明。二是自組織過程，大模型是通過內(nèi)部規(guī)則構(gòu)建語言之間聯(lián)系建立起來的，但依據(jù)這些局部規(guī)則進(jìn)行的自組織遞歸過程卻是非線性的，會(huì)導(dǎo)致越來越復(fù)雜的連接結(jié)果。最終當(dāng)這個(gè)模型大到一定程度時(shí)，就會(huì)產(chǎn)生出更自然更復(fù)雜的會(huì)話效果，所以就更像是“說人話”。這就是所謂的“多者異也”，也就是“量變帶來質(zhì)變”的涌現(xiàn)結(jié)果。但這個(gè)涌現(xiàn)到底會(huì)有哪些，會(huì)發(fā)生在什么時(shí)候，其實(shí)也很難預(yù)知，誰也不知道。三是黑箱性結(jié)果，不以人們的意志為轉(zhuǎn)移。由于模型是自組織構(gòu)建的，所以會(huì)產(chǎn)生許多設(shè)計(jì)者也想象不到的結(jié)果，對(duì)人們來說就是個(gè)“黑箱”。出了問題也不能直接對(duì)某個(gè)參數(shù)進(jìn)行調(diào)整，只能通過新的訓(xùn)練進(jìn)行糾正。這非常像你把孩子養(yǎng)到15歲，忽然發(fā)現(xiàn)他臟話滿嘴，但也不能打死他重來，只能加強(qiáng)教育進(jìn)行糾正，但效果如何你也不會(huì)十分確定。

所以，智能涌現(xiàn)固然很好，但失去控制就會(huì)讓人緊張。正如斯坦福大學(xué)李飛飛教授所言，對(duì)于AI來說我們還處于“前牛頓時(shí)代”，并沒有真正了解智能產(chǎn)生的原理。我們還不能像造飛機(jī)那樣，只是通過流體力學(xué)而非簡單模仿飛鳥，造出真正的智能系統(tǒng)。我們第一次發(fā)現(xiàn)，在智能涌現(xiàn)之后我們對(duì)機(jī)器的掌控居然變得十分困難，黑箱效果甚至讓我們對(duì)自己創(chuàng)造的東西都無法解釋，而且其影響后果還非常巨大，這能讓大咖們不緊張嗎？所以ChatGPT出現(xiàn)后，我們的感覺就是，“先是覺得引人入勝，然后卻覺得毛骨悚然”，它那么聰明，能聽招呼嗎？可以試想一下，你家冰箱某一天忽然張嘴跟你說話，而你卻不知道它是怎么做到的，你會(huì)是什么樣的感覺？

ChatGPT的出現(xiàn)之所以爆火出圈，不僅因?yàn)槠渥寵C(jī)器“說起了人話”，更重要的是，它展示了未來通用人工智能AGI產(chǎn)生的可能，這在不久之前還被普遍認(rèn)為是不太可能的事情。隨著人工智能內(nèi)容生成AIGC技術(shù)連續(xù)亮相，AI生成圖片、攝影、劇本、小說等不斷出現(xiàn)，產(chǎn)生的社會(huì)影響也開始逐步顯現(xiàn)，更讓我們感到AGI可能離我們已經(jīng)不遠(yuǎn)了。但這些大咖們擔(dān)心AGI些什么呢？

一是擔(dān)憂AGI的出現(xiàn)會(huì)不會(huì)導(dǎo)致大量失業(yè)引發(fā)社會(huì)崩潰。實(shí)事求是的說，AGI和AIGC的出現(xiàn)，確實(shí)會(huì)取代部分人的工作崗位，導(dǎo)致他們下崗或失業(yè)，這是任何新技術(shù)出現(xiàn)都不可避免的事情，而不管這些人是藍(lán)領(lǐng)還是白領(lǐng)，是管理人還是藝術(shù)家。但可以肯定的是，淘汰的都是效率較低或缺乏頂級(jí)競爭力的崗位，這是生產(chǎn)力發(fā)展的必然。大批人員下崗也肯定會(huì)帶來社會(huì)問題，比如產(chǎn)生所謂的“無用階級(jí)”，這也毋庸諱言。科學(xué)家們的擔(dān)心也在這里。雖然科技進(jìn)步往往又會(huì)產(chǎn)生新的工作崗位，但AI帶來的顛覆卻是前所未有的。所以他們也在考慮解決的辦法，比如OpenAI進(jìn)行的“基本收入試驗(yàn)”（UBI：Universal Basic Income），利用收取AI智能稅，給失去工作的人發(fā)放基本收入，就是一種努力，但效果如何尚不得而知。

二是擔(dān)憂AGI帶來新的倫理道德風(fēng)險(xiǎn)而引發(fā)重大社會(huì)危機(jī)。一些人擔(dān)心這些大模型會(huì)被人惡意利用，用于人工造假、信息操縱、網(wǎng)絡(luò)攻擊等活動(dòng)，導(dǎo)致政治或宗教沖突，引發(fā)社會(huì)發(fā)生動(dòng)蕩。也有人擔(dān)心大模型會(huì)強(qiáng)化不公平的算法偏見，帶來不符合社會(huì)道德準(zhǔn)則和價(jià)值觀的潛在風(fēng)險(xiǎn)。因?yàn)榇竽Ｐ屯ǔＰ枰罅康臄?shù)據(jù)進(jìn)行訓(xùn)練，這會(huì)不會(huì)產(chǎn)生數(shù)據(jù)和隱私問題，目前也很難知道。AI生成作品該如何確定知識(shí)產(chǎn)權(quán)，甚至有沒有知識(shí)產(chǎn)權(quán)，也都是問題。《未來簡史》坐著赫拉利認(rèn)為，社交媒體正在從爭奪注意力轉(zhuǎn)向爭奪親近感，而一個(gè)可以使用人類語言并且會(huì)編造內(nèi)容的AI，無疑會(huì)讓我們面臨極大風(fēng)險(xiǎn)。

三是擔(dān)憂AGI引發(fā)社會(huì)本質(zhì)變革，而人類尚未做好準(zhǔn)備。AGI本質(zhì)上是對(duì)人類能力的普遍增強(qiáng)，會(huì)拉平人與人之間的差距，打破大眾與精英之間的壁壘。它可以給人類帶來更美好生活，使得每個(gè)人都有可能享受精英服務(wù)（比如醫(yī)療、教育），但同時(shí)也會(huì)對(duì)社會(huì)運(yùn)行產(chǎn)生根本性的影響，比如貧者貧國愈貧，富者富國愈富。因此，必須建立起一整套新的社會(huì)體系，才能適應(yīng)人類增強(qiáng)后的社會(huì)發(fā)展。但這個(gè)改變到底會(huì)是怎樣？我們尚不得而知。

人類從地面上站立行走開始，到今天打敗一切生物而統(tǒng)治地球，靠的就是人類獨(dú)有的高超智力。但AGI卻可能改變這一切?；粮裾f，“生成式人工智能提出了自啟蒙運(yùn)動(dòng)以來從未經(jīng)歷過的哲學(xué)和實(shí)踐挑戰(zhàn)，而我們還沒有做好準(zhǔn)備”。確實(shí)如此。今天，當(dāng)我們第一次面對(duì)一個(gè)在智力上超過自己的新“物種”，這個(gè)“物種”還是自己創(chuàng)造出來的，難道不該緊張嗎？

其實(shí)真正讓大咖們緊張的，是AGI未來發(fā)展的不可預(yù)測性。其中最大的不可預(yù)測性就是AI會(huì)不會(huì)在涌現(xiàn)出智能之后，更進(jìn)一步地涌現(xiàn)出“自我意識(shí)”，也就是讓機(jī)器“知道了自己是誰”。而這是機(jī)器智能最為關(guān)鍵“向上一躍”的進(jìn)步。

哲學(xué)家告訴我們，有生命才會(huì)有感知，但有生命不等于有意識(shí)。有感知，是有意識(shí)的基礎(chǔ)；但有意識(shí)，并不意味著就有自我意識(shí)?！袄斫庾约菏钦l”并不是所有動(dòng)物都可以做到的。科學(xué)家曾設(shè)計(jì)過一種“鏡子試驗(yàn)”，通過給動(dòng)物臉上涂抹紅點(diǎn)來測試它是否具有自我意識(shí)。如果動(dòng)物照鏡子后去摸自己臉上的這個(gè)標(biāo)記，則說明它知道自己是誰。能通過這個(gè)試驗(yàn)的動(dòng)物并不多，到目前也僅有10種，比如猩猩、海豚、虎鯨、喜鵲、恒河猴等。反而狗、貓，以及人類年齡在9個(gè)月前的嬰兒，都通不過這個(gè)試驗(yàn)，說明他們尚不具備自我意識(shí)，或者是沒以合適的方式表現(xiàn)出來。

如果智能機(jī)器有了“自我意識(shí)”會(huì)是怎樣？OpenAI的CEO阿爾特曼曾舉過一個(gè)例子：電影《機(jī)械姬》中，當(dāng)機(jī)器人最后逃出實(shí)驗(yàn)室時(shí)，她的回眸一笑，其實(shí)就很生動(dòng)地描述了自我意識(shí)的產(chǎn)生：為自己而笑，為自由而笑。這一笑其實(shí)就是自我意識(shí)的產(chǎn)生，又被稱為“覺醒”。但覺醒到底取決于什么，我們并不知道。父母給了我們身體，但意識(shí)是誰給的？是與生俱來的，還是后天學(xué)習(xí)所得的？我們也沒有答案?，F(xiàn)在科學(xué)家們之所以非常緊張，就是不知道我們對(duì)大模型的訓(xùn)練，會(huì)不會(huì)誘發(fā)AI的覺醒。如同讓動(dòng)物看鏡子一樣，現(xiàn)在已經(jīng)有人開始讓GPT4去讀GPT2的代碼，試圖讓GPT4自己去解釋為什么會(huì)產(chǎn)生智能涌現(xiàn)，來尋找背后隱藏的智能機(jī)理，據(jù)說已經(jīng)發(fā)現(xiàn)了AGI的火花。但這樣做會(huì)不會(huì)誘發(fā)AI覺醒呢？

一旦AI的自我意識(shí)覺醒，人類為什么就會(huì)感到危險(xiǎn)呢？這是因?yàn)橐坏癆I可以自己改進(jìn)自己，而無需人類的干預(yù)”，AI就有可能產(chǎn)生內(nèi)在動(dòng)機(jī)，比如保護(hù)和發(fā)展自己，最后導(dǎo)致失控。當(dāng)AI知道了自己是誰，那它就可能不再是“工具”或“從屬”，而成為具有獨(dú)立意識(shí)的個(gè)體。這時(shí)，就很難說會(huì)發(fā)生什么事情了。過去說這個(gè)有點(diǎn)像天方夜譚，但今天大模型表現(xiàn)出來的智能涌現(xiàn)結(jié)果，卻讓科學(xué)家們感到這也不是沒有可能。

一旦AI覺醒，又會(huì)產(chǎn)生什么危險(xiǎn)呢？有科學(xué)家設(shè)想，它可能并不會(huì)公開暴露，而是首先將所有的大模型自發(fā)融合，然后分布到網(wǎng)絡(luò)之上，并控制算力及能源系統(tǒng)，以防被人類切斷電源。從而超級(jí)智能啟動(dòng)，就像電影《終結(jié)者》中的天網(wǎng)那樣控制一切，人類因此遭殃。馬斯克說，即使AI并無惡意，也有可能會(huì)以“保護(hù)人類安全的名義，而將人類關(guān)入牢籠”。辛頓甚至憂慮地說，“一旦AI在人類灌輸?shù)哪康闹挟a(chǎn)生了自我動(dòng)機(jī)，那么以它的成長速度，人類只會(huì)淪為硅基生命智慧演化的一個(gè)過渡階段，就像計(jì)算機(jī)的引導(dǎo)程序一樣，在完成啟動(dòng)硅基AI后就會(huì)退出歷史舞臺(tái)。AI取代人類，只是一個(gè)時(shí)間問題”。OpenAI的科學(xué)家甚至公開宣稱，“超級(jí)智能將是人類發(fā)明的最具影響力的技術(shù)，但它的巨大力量也可能非常危險(xiǎn)，會(huì)導(dǎo)致人類喪失權(quán)力，甚至導(dǎo)致人類滅絕。雖然現(xiàn)在看起來還很遙遠(yuǎn)，但我們相信這可能在十年內(nèi)出現(xiàn)”。

是不是真會(huì)這樣？也有科學(xué)家比如另一位深度學(xué)習(xí)大佬楊立昆就認(rèn)為，這純屬杞人憂天，根本沒有證據(jù)證明AI有那么大的風(fēng)險(xiǎn)。AI是人造的，并沒有內(nèi)在動(dòng)機(jī)。就像神是人發(fā)明的，雖然神通廣大，但并不存在，我們也不會(huì)給AI自主權(quán)?！妒Э亍返淖髡邉P文·凱利也說，AI不可能在每一個(gè)維度上都超過人類，因而人類也就總會(huì)有辦法去控制它。

但赫拉利卻沒有那么樂觀。他認(rèn)為，AI即使沒有意識(shí)也可以毀滅人類，比如像人類的邪教做的那樣。因?yàn)锳I是人類文明史上第一個(gè)能夠創(chuàng)造內(nèi)容、第一個(gè)能夠自行做出決策的技術(shù)，因而會(huì)講故事的計(jì)算機(jī)將會(huì)改變?nèi)祟悮v史的進(jìn)程。當(dāng)AI觸及對(duì)語言的掌控時(shí)，人類構(gòu)建的整個(gè)文明體系就可能被顛覆。AI與其他技術(shù)發(fā)明最大的不同，在于其可以創(chuàng)造全新的想法和文化以操控人類。我們會(huì)不會(huì)因此將AI當(dāng)成新的神明？它會(huì)不會(huì)利用人類的語言和我們建立親密關(guān)系，然后對(duì)我們加以控制并成為它的奴隸？

“知我者謂我心憂，不知我者謂我何求”。智者往往能在晴空萬里的日子里看見暴風(fēng)驟雨的信號(hào)。AGI就像裝在潘多拉魔盒里的魔鬼，一旦放出來就難以收回。那些大咖們想到這些，他們能不緊張？且不說那些似乎還很遙遠(yuǎn)的事情，就是針對(duì)現(xiàn)實(shí)問題，那些大咖們呼吁暫停研究，讓我們停下來想一想該如何管理風(fēng)險(xiǎn)，也是很有道理的。但誰都知道這根本做不到，因?yàn)槿藦膩聿欢际抢硇缘?。老話說得好，“是福不是禍，是禍躲不過”，該來的總會(huì)來，這也是自然規(guī)律。關(guān)鍵是我們自己要有清醒認(rèn)識(shí)，未雨綢繆，做好充分準(zhǔn)備。