Ilya Sutskever是OpenAI的聯(lián)合創(chuàng)始人和首席科學(xué)家。Ilya Sutskever與Alex Krizhevsky和Geoffrey共同發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)AlexNet。Ilya Sutskever也是AlphaGo論文的眾多合著者之一，曾擔(dān)任Google Brain的研究科學(xué)家，參與TensorFlow的開發(fā)。

在兩者的對(duì)話中，Ilya Sutskever向斯坦福大學(xué)的Ravi Belani解釋了在openAI如何做出一些復(fù)雜決策，以及對(duì)深度學(xué)習(xí)、人工智能在未來(lái)發(fā)展的預(yù)測(cè)。

以下是9大要點(diǎn)總結(jié):

大型語(yǔ)言模型是如何工作的？它是通過(guò)訓(xùn)練一個(gè)大型神經(jīng)網(wǎng)絡(luò)去預(yù)測(cè)下一個(gè)單詞,從而學(xué)習(xí)理解文本。

人工神經(jīng)元和生物神經(jīng)元沒(méi)有區(qū)別,如果一個(gè)神經(jīng)網(wǎng)絡(luò)能很好地預(yù)測(cè)下一個(gè)單詞,那它就能理解語(yǔ)言。大語(yǔ)言模型很擅長(zhǎng)預(yù)測(cè)接下來(lái)會(huì)發(fā)生什么,這種預(yù)測(cè)能力就是實(shí)現(xiàn)理解的方式。

ChatGPT開源與否要看AI的能力水平。低能力時(shí)開源是好事,但高能力時(shí)可能會(huì)帶來(lái)安全風(fēng)險(xiǎn),不應(yīng)該開源。

OpenAI是利潤(rùn)有限公司,計(jì)劃最終成為非營(yíng)利組織。其目的在于獲得資金支持高成本的AI研究。

AI將會(huì)變得非常強(qiáng)大,需要設(shè)立明智的政府監(jiān)管來(lái)指導(dǎo)其發(fā)展。

意識(shí)是個(gè)難以定義的概念。AI能否獲得意識(shí)應(yīng)該通過(guò)AI自身的描述來(lái)評(píng)價(jià),而非僅僅從行為來(lái)判斷。

AI超越人類的時(shí)刻很難預(yù)測(cè),可能需要取得一些技術(shù)突破。

需要重視在深度學(xué)習(xí)中研究其他人忽略的方向,認(rèn)為這會(huì)帶來(lái)新進(jìn)展。

通用的AI模型訓(xùn)練和專業(yè)垂直的AI模型訓(xùn)練都有價(jià)值。專業(yè)領(lǐng)域中的獨(dú)特?cái)?shù)據(jù)集可能對(duì)性能有幫助,但通用的AI模型仍然有其優(yōu)勢(shì)。

下面是詳細(xì)內(nèi)容：

我可以解釋ChatGPT技術(shù)是什么，以及它為什么有效。我認(rèn)為對(duì)它為什么有效的解釋既簡(jiǎn)單又極其美麗。ChatGPT的工作原理如下：

人腦是世界上最好的智能。人腦是由大量的神經(jīng)元組成的，非常多的神經(jīng)元。神經(jīng)科學(xué)家已經(jīng)研究神經(jīng)元幾十年了，試圖理解它們是如何精確工作的。雖然生物神經(jīng)元的運(yùn)作仍然神秘，但40年代最早的深度學(xué)習(xí)研究人員提出了一個(gè)非常大膽的猜想：計(jì)算機(jī)人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元，有點(diǎn)類似于生物神經(jīng)元，這是一個(gè)假設(shè)。我們現(xiàn)在可以用這個(gè)假設(shè)來(lái)運(yùn)行這些人工神經(jīng)元，它們要簡(jiǎn)單得多，你可以用數(shù)學(xué)方法來(lái)研究它們。這是一個(gè)非常重要的突破。深度學(xué)習(xí)是反向傳播算法的發(fā)現(xiàn)所導(dǎo)致的，反向傳播算法是這些人工神經(jīng)網(wǎng)絡(luò)應(yīng)該如何學(xué)習(xí)的數(shù)學(xué)方程。它為我們提供了一種使用大型計(jì)算機(jī)并在代碼中實(shí)現(xiàn)這種神經(jīng)網(wǎng)絡(luò)的方法。然后會(huì)有一個(gè)我們可以編寫的方程式，告訴我們這個(gè)神經(jīng)網(wǎng)絡(luò)應(yīng)該如何調(diào)整它的連接以從經(jīng)驗(yàn)中學(xué)習(xí)。盡管這是我們用計(jì)算機(jī)做的，它有點(diǎn)像實(shí)驗(yàn)科學(xué)，有點(diǎn)像生物學(xué)，有點(diǎn)像生物實(shí)驗(yàn)。因此，深度學(xué)習(xí)的許多進(jìn)步基本上可以歸結(jié)為這一點(diǎn)：我們可以在大型計(jì)算機(jī)中構(gòu)建這些神經(jīng)網(wǎng)絡(luò)，我們可以在一些數(shù)據(jù)上訓(xùn)練它們。我們可以訓(xùn)練這些大型神經(jīng)網(wǎng)絡(luò)做我要求它們做的任何事情。

GPT這個(gè)大型語(yǔ)言模型的想法是，如果你有一個(gè)非常大的神經(jīng)網(wǎng)絡(luò)，我們訓(xùn)練它們從文本中的一堆單詞中猜測(cè)下一個(gè)單詞是什么。你訓(xùn)練一個(gè)大的神經(jīng)網(wǎng)絡(luò)從文本中的前一個(gè)單詞中猜測(cè)下一個(gè)單詞，你希望神經(jīng)網(wǎng)絡(luò)盡可能準(zhǔn)確地猜測(cè)下一個(gè)單詞。

現(xiàn)在發(fā)生的事情是，我們需要回到我們最初的假設(shè)：也許生物神經(jīng)元和人造神經(jīng)元沒(méi)有什么不同。因此，如果你有一個(gè)像這樣的大型神經(jīng)網(wǎng)絡(luò)，可以很好地猜測(cè)下一個(gè)單詞，也許它與人們說(shuō)話時(shí)所做的沒(méi)有什么不同。

 現(xiàn)在當(dāng)你和這樣的神經(jīng)網(wǎng)絡(luò)交談時(shí)，它對(duì)接下來(lái)會(huì)會(huì)出現(xiàn)什么單詞，有非常好的感覺(jué)。它可以縮小范圍。它看不見(jiàn)未來(lái)，卻能從自己的理解中準(zhǔn)確的縮小可能性。能夠非常準(zhǔn)確地猜測(cè)接下來(lái)會(huì)發(fā)生什么需要預(yù)測(cè)，這是AI實(shí)現(xiàn)理解人類語(yǔ)言的方式。神經(jīng)網(wǎng)絡(luò)層面上的理解意味著什么？AI很難對(duì)人類的提問(wèn)想出一個(gè)準(zhǔn)確的答案，但是測(cè)量和優(yōu)化AI神經(jīng)網(wǎng)絡(luò)對(duì)下一個(gè)單詞的預(yù)測(cè)誤差是非常容易的。所以說(shuō)如果我們想要AI理解人類語(yǔ)言，我們可以通過(guò)讓AI優(yōu)化預(yù)測(cè)下一個(gè)單詞這個(gè)方法來(lái)實(shí)現(xiàn)。這就是ChatGPT所做的。GPT這些神經(jīng)網(wǎng)絡(luò)很大。他們用反向傳播算法訓(xùn)練，訓(xùn)練結(jié)果非常不錯(cuò)。如果你讓自己想象人工神經(jīng)元和生物神經(jīng)元沒(méi)有什么不同，那么如果你非常仔細(xì)地觀察，我們的大腦同樣能夠很好地猜測(cè)下一個(gè)單詞。

 在我們的人工神經(jīng)網(wǎng)絡(luò)和人的大腦之間進(jìn)行直接比較有點(diǎn)困難，因?yàn)槟壳叭藗兡軌驈母俚臄?shù)據(jù)中學(xué)習(xí)更多。這就是為什么像ChatGPT這樣的AI神經(jīng)網(wǎng)絡(luò)會(huì)在如此多的數(shù)據(jù)上進(jìn)行訓(xùn)練，以補(bǔ)償它們最初時(shí)緩慢的學(xué)習(xí)能力。當(dāng)你訓(xùn)練這些神經(jīng)網(wǎng)絡(luò)并使它們變得更好時(shí)，更快的學(xué)習(xí)能力開始出現(xiàn)。但總的來(lái)說(shuō)，人類學(xué)習(xí)的方式與這些神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式是完全不同的。

 一個(gè)例子是如要要讓這些神經(jīng)網(wǎng)絡(luò)非常擅長(zhǎng)數(shù)學(xué)或編程，比如說(shuō)要擅長(zhǎng)像微積分，AI就需要輸入大量的相關(guān)書籍。而一個(gè)人只需要2本教科書和200個(gè)練習(xí)，就可以了。

當(dāng)涉及到知識(shí)的廣度和這些神經(jīng)網(wǎng)絡(luò)擁有的大量尺度時(shí)，任何這樣的神經(jīng)網(wǎng)絡(luò)顯然都是非常超出人類的。例如，ChatGPT非常擅長(zhǎng)詩(shī)歌，可以雄辯地談?wù)撊魏卧掝}，可以談?wù)摎v史事件和很多類似的事情。但是另一方面，人類可以對(duì)這些知識(shí)有更加深入的理解和認(rèn)知。比如一個(gè)人，盡管只讀了少量的文件，但他對(duì)某些東西理解得很深。

AI超越人類智慧的奇點(diǎn)什么時(shí)候會(huì)到來(lái)呢？ 我不知道。我不知道什么時(shí)候會(huì)發(fā)生。我認(rèn)為需要取得一些額外的進(jìn)展，但我絕對(duì)不會(huì)預(yù)測(cè)這一點(diǎn)會(huì)在某個(gè)時(shí)候發(fā)生。我認(rèn)為這件事的不確定性相當(dāng)高，因?yàn)檫@些方面的AI技術(shù)發(fā)展，需要持續(xù)很長(zhǎng)時(shí)間。也許會(huì)花很長(zhǎng)時(shí)間，也許只需要幾年時(shí)間。但是很難給出一個(gè)精確的答案。

在意識(shí)問(wèn)題上，我還是個(gè)孩子的時(shí)候，我想看著我的手，我想，這怎么可能是我能看到的手？像我一樣，這種性質(zhì)的東西？我不知道如何更好地解釋它。所以這是我很好奇的事情。意識(shí)這個(gè)問(wèn)題非常困難非常棘手，你如何定義它呢？這是很長(zhǎng)一段時(shí)間以來(lái)無(wú)法定義的東西。你如何在一個(gè)系統(tǒng)中測(cè)試它？也許有一個(gè)AI系統(tǒng)行為完美，完美地像你期望的那樣，但是就能說(shuō)明它有意識(shí)嗎？我認(rèn)為有一個(gè)非常簡(jiǎn)單的方法，有一個(gè)實(shí)驗(yàn)：們會(huì)非常仔細(xì)地處理數(shù)據(jù)，這樣我們就永遠(yuǎn)不會(huì)提到任何關(guān)于意識(shí)的事情。我們只會(huì)說(shuō)這里是是一個(gè)球，這里是一個(gè)城堡，這里就像一個(gè)小玩具。也許我們會(huì)有幾年的這種訓(xùn)練數(shù)據(jù)。也許這樣一個(gè)AI系統(tǒng)會(huì)與許多不同的老師互動(dòng)，向他們學(xué)習(xí)。但你從沒(méi)提過(guò)意識(shí)。然后在某個(gè)時(shí)候，你坐下來(lái)和AI說(shuō)，我想告訴你關(guān)于意識(shí)的事情，但是我很難清晰的表達(dá)出來(lái)。想象一下，如果AI說(shuō)：天啊，我也有同樣的感覺(jué)，但我不知道如何表達(dá)。如果它能以這種方式來(lái)討論意識(shí)問(wèn)題，也許說(shuō)明那時(shí)候的AI就真正的具有了意識(shí)。

 我認(rèn)為這更像是一種程度問(wèn)題。比如說(shuō)，如果一個(gè)人非常累，可能喝醉了，那么也許當(dāng)某人處于那種狀態(tài)時(shí)，也許他們的意識(shí)已經(jīng)在某種程度上降低了。我可以想象動(dòng)物有一種更簡(jiǎn)化的意識(shí)形式。從昆蟲到老鼠、貓、狗、大型靈長(zhǎng)類動(dòng)物，他們的意識(shí)程度是不斷增加的，從有一些意識(shí)到很高的意識(shí)。

關(guān)于開源與閉源的問(wèn)題。我認(rèn)為AI面臨的挑戰(zhàn)是AI如此包羅萬(wàn)象，它伴隨著許多不同的危險(xiǎn)，這些危險(xiǎn)相互沖突。開源AI的一些原因是什么？防止權(quán)力集中在那些正在開發(fā)AI的人手中。因此，如果你在一個(gè)只有少數(shù)公司控制著這項(xiàng)非常強(qiáng)大的技術(shù)的世界里，你可能會(huì)說(shuō)這AI應(yīng)該是開放的，任何人都可以使用AI。 這就是開源的論點(diǎn)。但是這個(gè)論點(diǎn)，有短期的商業(yè)動(dòng)機(jī)。

但是還有另一個(gè)反對(duì)開源的長(zhǎng)期論點(diǎn)，那就是如果一個(gè)人相信最終AI會(huì)變得難以置信的強(qiáng)大，比如能自主地創(chuàng)造一個(gè)生物。這也應(yīng)該開源嗎？所以我對(duì)開源問(wèn)題的立場(chǎng)是，我認(rèn)為關(guān)鍵考量是AI的能力水平。你可以從能力的角度考慮這些神經(jīng)網(wǎng)絡(luò)，它們有多強(qiáng)大，它們有多聰明。當(dāng)AI的能力水平還處于低端時(shí)，我認(rèn)為開源是一件很棒的事情。但在某些時(shí)候，，AI能力會(huì)變得如此龐大，那么開源顯然是不負(fù)責(zé)任的。

我認(rèn)為，當(dāng)前的AI能力水平仍然沒(méi)有那么高，完全可以開源。而ChatGPT之所以閉源，是出于安全考慮。隨著AI模型的能力不斷提高，總有一天，安全考慮將成為明顯和直接的驅(qū)動(dòng)力。

關(guān)于非營(yíng)利和營(yíng)利性的問(wèn)題。從某種意義上說(shuō)，如果OpenAI從現(xiàn)在開始只是一個(gè)非營(yíng)利組織，直到OpenAI的通用人工智能使命完成，那將是更可取的。 然而，值得指出的一件事是這些數(shù)據(jù)中心的成本非常高。各種AI初創(chuàng)公司及其籌集的資金，其中大部分流向云提供商。那是為什么？之所以需要這么多錢，是因?yàn)檫@就是這些大型神經(jīng)網(wǎng)絡(luò)的本質(zhì)。他們需要大量的計(jì)算、算力。

幾十年來(lái)，AI的前沿研究都在學(xué)術(shù)部門和大學(xué)進(jìn)行。但是當(dāng)這些項(xiàng)目的復(fù)雜性和成本開始變得非常大的時(shí)候，大學(xué)不再具有競(jìng)爭(zhēng)力。現(xiàn)在大學(xué)需要研究AI需要找到其他方法來(lái)做出貢獻(xiàn)。這些方式是存在的，只是不同于他們習(xí)慣的方式。

說(shuō)服人們給非營(yíng)利組織捐款很困難。所以我們想，有什么解決方案？所以我們構(gòu)建出來(lái)獨(dú)一無(wú)二的公司架構(gòu)。Openai不是一家盈利公司，這是一家利潤(rùn)有限的公司。這意味著，OpenaiI的股權(quán)可以被視為債券，而不是普通意義上的股權(quán)和一家普通公司。換句話說(shuō)，openai對(duì)投資者負(fù)有有限的義務(wù)，而普通公司對(duì)投資者負(fù)有無(wú)限的義務(wù)。

Openai的股權(quán)不同于正常的創(chuàng)業(yè)公司股權(quán)，但也有一些相似之處，你越早加入公司，上限越高，因?yàn)殡S著公司繼續(xù)成功，需要更大的上限來(lái)吸引初始投資者。這很重要，因?yàn)檫@意味著一旦公司對(duì)投資者和員工的所有義務(wù)都得到支付，openai就會(huì)再次成為非營(yíng)利組織。我們可以看看今天的AI是什么，我認(rèn)為OpenAI正在推動(dòng)實(shí)現(xiàn)通用AI，向投資者和員工支付義務(wù)，在AI變得如此強(qiáng)大的時(shí)候會(huì)再次成為非營(yíng)利組織。

關(guān)于OpenAI和微軟的關(guān)系。微軟了解AGI通用人工智能的潛力和嚴(yán)重性。微軟是開放AI的投資者。在openai的任何投資者簽署的所有投資者文件中，任何簽署任何文件的人，任何投資文件的頂部都有一個(gè)紫色的矩形，上面寫著OpenAI的信托責(zé)任是OpenAI的AGI使命，這意味著如果使命發(fā)生沖突，你有可能失去所有的錢。所以這是所有投資者都簽署的東西。

AI確實(shí)會(huì)變得非常強(qiáng)大，非常具有變革性。我確實(shí)認(rèn)為，我們希望走向一個(gè)擁有明智的政府監(jiān)管AI的世界。我們希望在一個(gè)有明確規(guī)則的世界里，訓(xùn)練更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)。我們希望政府機(jī)構(gòu)對(duì)AI發(fā)展進(jìn)行某種仔細(xì)的評(píng)估，比如我們期望這些神經(jīng)網(wǎng)絡(luò)今天能做什么，一年后可以做什么。

OpenAI用什么指標(biāo)來(lái)度量是否成功呢？ 有幾個(gè)非常重要的kpi，非常重要的維度。一個(gè)是不可否認(rèn)的技術(shù)進(jìn)步。我們的研究做得好嗎？我們是否更了解我們的AI系統(tǒng)？我會(huì)更好地訓(xùn)練他們嗎？我們能更好地控制它們嗎？我們的研究計(jì)劃執(zhí)行得好嗎？我們的安全計(jì)劃執(zhí)行得好嗎？我們對(duì)此有多高興？這是我對(duì)主要kpi的描述。當(dāng)然還有圍繞產(chǎn)品的東西，但是，我認(rèn)為AI技術(shù)是核心的，以及對(duì)AI技術(shù)的控制。

事情變化太快了，我不能就AI具體產(chǎn)品的發(fā)展做出任何關(guān)于5年或10年的預(yù)測(cè)。

未來(lái)5-10年深度學(xué)習(xí)、人工智能領(lǐng)域會(huì)如何發(fā)展呢？

我希望深度學(xué)習(xí)繼續(xù)取得進(jìn)展，模型規(guī)模會(huì)繼續(xù)擴(kuò)大。我們?cè)趶膅pt 1到gpt 3的過(guò)程中最明顯地看到了這一點(diǎn)。但是事情會(huì)有一點(diǎn)變化。模型越來(lái)越大，原因是人們擁有數(shù)據(jù)中心，而這些數(shù)據(jù)中心不是用于一次訓(xùn)練運(yùn)行。因此，通過(guò)簡(jiǎn)單地重新分配現(xiàn)有資源，您可以取得很大進(jìn)展，并且重新分配現(xiàn)有資源不需要那么長(zhǎng)時(shí)間。你只需要有人決定這樣做?，F(xiàn)在不同了，因?yàn)锳I訓(xùn)練運(yùn)行規(guī)模非常大，擴(kuò)大規(guī)模不會(huì)像過(guò)去那樣快，因?yàn)闃?gòu)建數(shù)據(jù)中心需要時(shí)間。但與此同時(shí)，我預(yù)計(jì)深度學(xué)習(xí)堆棧的許多層都會(huì)有所改進(jìn)，它們?nèi)匀粫?huì)導(dǎo)致非常穩(wěn)健的進(jìn)展。我確信我們將發(fā)現(xiàn)深度學(xué)習(xí)目前未知的新屬性，這些屬性將被利用，我完全期望5-10年后會(huì)比現(xiàn)在好得多。但是它到底會(huì)是什么樣子，我想這有點(diǎn)難回答。因?yàn)榭赡軙?huì)有少量的大改進(jìn)，也會(huì)有大量的小改進(jìn)，所有這些都集成到一個(gè)大型復(fù)雜的工程工件中。

更大的神經(jīng)網(wǎng)絡(luò)會(huì)更好，但要做到這一點(diǎn)會(huì)很費(fèi)力和成本。但是我認(rèn)為會(huì)有很多不同的領(lǐng)域。

我們甚至可以達(dá)到這樣的點(diǎn)：神經(jīng)網(wǎng)絡(luò)可以被完全理解。只有當(dāng)我們真正理解神經(jīng)網(wǎng)絡(luò)的運(yùn)行機(jī)制時(shí)，我們才能真正從中受益。

所以我認(rèn)為將應(yīng)該AI發(fā)展視為多個(gè)因素的推動(dòng)，每個(gè)因素都有貢獻(xiàn)。擁有特殊的數(shù)據(jù)是否更好？這是否有助于你在一組特定的任務(wù)中得到更好的結(jié)果？當(dāng)然了。能力更強(qiáng)的通用基礎(chǔ)模型更好嗎？當(dāng)然。通用AI模型和專用AI模型都有很好的發(fā)展前景，并不是非此即彼的關(guān)系。