|
可能有的同學(xué)會說：我知道，這個就叫仿生學(xué)。那說到仿生學(xué)，我要先給大家講一個例子。 人類很早以前就想像鳥兒一樣飛，于是致力于根據(jù)鳥造出能飛翔的機(jī)器，這是最早的仿生學(xué)嘗試。但是很長一段時間里，人類都走在一條死胡同上。我們總想簡單地模仿鳥扇動翅膀就能飛起來的現(xiàn)象，設(shè)計了很多類似的機(jī)器。    演講 | 余山 我想請大家思考一個問題，從生物大腦的特點(diǎn)和生物智能的特性來講，它們的底層原理是什么呢？
線蟲是一種體長大概1毫米左右的動物，生活在土壤里。它的大腦非常簡單，只有300多個神經(jīng)元。而果蠅有10萬個神經(jīng)元，小鼠有數(shù)千萬神經(jīng)元，猴子猩猩有數(shù)十億神經(jīng)元，人的大腦有數(shù)百億神經(jīng)元。大腦的規(guī)模叫做復(fù)雜度，線蟲和我們之間差了很多很多個數(shù)量級。 那么，這些復(fù)雜度跨越幾個數(shù)量級的智能體有哪些共同的特性呢？假如你回家時買了水果，但忘記吃了，你會發(fā)現(xiàn)過段時間之后，家里開始飛小果蠅了。這時候，你可能覺得這些果蠅還挺聰明，因為它自己知道能在什么地方找到食物和水，在哪里可以繁殖，所以就能很快樂地生活著了。 但是，它之前從來沒去過你家，為什么能做到這些呢？這說明我們的生物智能具有很強(qiáng)的適應(yīng)環(huán)境的能力。在智能領(lǐng)域，這叫做對開放動態(tài)環(huán)境有很高的適應(yīng)性。 什么叫開放動態(tài)環(huán)境呢？這是我們對于環(huán)境復(fù)雜程度的一種描述。 相比之下，封閉環(huán)境就是指你要做的事情和將要面對的挑戰(zhàn)以前都受過訓(xùn)練。比如大家考試時遇到的那些題都是老師平常講過的，這就是一個封閉的環(huán)境。開放環(huán)境就是指你要去做的是以前沒有訓(xùn)練過的事情。
假如要在封閉環(huán)境里做一個面部識別系統(tǒng)或者字符識別系統(tǒng)，它最后能學(xué)會識別的東西還是在訓(xùn)練集范圍當(dāng)中的。但是如果在開放環(huán)境中訓(xùn)練一只機(jī)器狗，在不同的地面訓(xùn)練它，最后讓它在從來沒有訓(xùn)練過的場地走路也是可行的，這就是開放的環(huán)境。我們當(dāng)然希望人工智能的系統(tǒng)能從適應(yīng)封閉環(huán)境走向逐漸適應(yīng)開放環(huán)境，這是我們衡量環(huán)境復(fù)雜度的第一個維度。 第二個維度是環(huán)境靜態(tài)和動態(tài)的程度。 靜態(tài)環(huán)境是什么意思？就是我學(xué)會了一條規(guī)則或者掌握了一個竅門后，就可以一直運(yùn)用這個竅門，不需要去改變，這就是靜態(tài)環(huán)境。識別面部的系統(tǒng)和識別手寫體字符系統(tǒng)也是這樣的，這個字就是這個字，我看到這個字，把它識別成這個字就好了。 動態(tài)的環(huán)境更為復(fù)雜，沒有一個能一直適用的、一成不變的單一規(guī)則。比如下圍棋或者做其他游戲時，必須要根據(jù)對手的情況和當(dāng)前的局勢靈活地選擇規(guī)則，需要隨機(jī)應(yīng)變地應(yīng)對當(dāng)前的局勢，這就是動態(tài)環(huán)境。
如果我們用兩個軸來表示這兩個維度，做成類似于坐標(biāo)軸的圖。可以看到現(xiàn)在做得比較好的人工智能還是在靜態(tài)封閉的環(huán)境，也就是左下角的這個區(qū)域。可能有的系統(tǒng)可以做到開放，但是比較靜態(tài)；有的系統(tǒng)能做到動態(tài)，但是比較封閉。
那么現(xiàn)在，我們希望能把智能的水平不斷地從左下角的區(qū)域往右上角這個區(qū)域演進(jìn)，最后能做出真正像人一樣高度智能的系統(tǒng)。未來真正的人工智能系統(tǒng)或者生物智能系統(tǒng)，一定是適應(yīng)動態(tài)開放的環(huán)境的，能夠不斷適應(yīng)新情況，同時靈活地隨機(jī)應(yīng)變，把學(xué)會的知識加以應(yīng)用。 讓我們一個方面一個方面地來考慮。首先我們看看如何從封閉環(huán)境到開放環(huán)境。
目前人工智能領(lǐng)域常用的方式就是持續(xù)學(xué)習(xí)。我們?nèi)祟悶槭裁茨苓m應(yīng)開放的環(huán)境？為什么能適應(yīng)從來沒學(xué)過的東西？就是因為我們能夠不斷地學(xué)習(xí)，就像那句老話說的，叫“活到老學(xué)到老”。每個人都要不斷學(xué)習(xí)新知識，這就使得大家能適應(yīng)越來越復(fù)雜、越來越豐富的環(huán)境。遇到不會的，學(xué)就好了。 當(dāng)時做這個研究之前，我們也是這樣想的，覺得讓人工智能持續(xù)學(xué)習(xí)應(yīng)該不是個問題，系統(tǒng)遇到新的挑戰(zhàn)，學(xué)就好了。 但事實(shí)上，這是一個非常困難的問題。在人工智能里面這個問題甚至有個專門的名字，叫“災(zāi)難性遺忘”。
假如我們想訓(xùn)練一個用來做智能任務(wù)的人工神經(jīng)網(wǎng)絡(luò)，比如訓(xùn)練它來識別什么叫做狗。你給它很多圖片，它就可以去識別什么是狗。在學(xué)習(xí)識別小狗的過程中，神經(jīng)網(wǎng)絡(luò)內(nèi)部的權(quán)重會做出調(diào)整，這些調(diào)整把關(guān)于狗的知識存儲起來了。因此，在訓(xùn)練完成之后給它一張狗的圖片，它就能識別這到底是不是狗，這是第一個任務(wù)。 學(xué)完了識別狗的任務(wù)之后，我們再去訓(xùn)練它做一個識別小貓的任務(wù)，它通過同樣的過程也可以學(xué)會識別小貓。學(xué)會了第二個識別小貓的任務(wù)以后，我們讓它回頭再做第一個任務(wù)，看它還能不能識別小狗。 這時候我們會發(fā)現(xiàn)，它把第一個任務(wù)忘掉了。為什么呢？因為在學(xué)習(xí)第二個任務(wù)的過程中，它內(nèi)部的權(quán)重重新做了調(diào)整，關(guān)于第一個任務(wù)的知識就被“擦”掉了，這是所謂的“災(zāi)難性遺忘”。 所以說，由于這個本質(zhì)上的困難，人工智能神經(jīng)網(wǎng)絡(luò)很難像我們?nèi)艘粯硬粩鄬W(xué)習(xí)新的知識，適應(yīng)新的場景。那我們就要想辦法讓它能夠具有這樣的能力。
我們提出了一套叫做正交學(xué)習(xí)的辦法。這張圖是兩個集合，藍(lán)色這個橢圓形的區(qū)域叫做第一個任務(wù)的解空間，任何一個系統(tǒng)或者神經(jīng)網(wǎng)絡(luò)如果位于這個空間內(nèi)就能完成任務(wù)一。 任務(wù)二的解空間是棕色區(qū)域。如果它學(xué)會了任務(wù)一之后我們再給它任務(wù)二，就會從這個綠色的點(diǎn)沿著這條軌跡跑到任務(wù)二去了。最后的結(jié)果就是它可以做任務(wù)二，但是忘掉了任務(wù)一，這就是剛才說的“災(zāi)難性遺忘”。 如果大家學(xué)過集合的數(shù)學(xué)概念就可以想到，我們該怎么設(shè)計一套方法，讓它在學(xué)了任務(wù)一之后學(xué)任務(wù)二，最后能夠同時會做任務(wù)一和任務(wù)二呢？ 其實(shí)一個很簡單的辦法就是，最后我們把系統(tǒng)的解放到這兩個集合的交集當(dāng)中，它就可以在學(xué)了新任務(wù)之后不忘記舊的任務(wù)，同時完成任務(wù)一和任務(wù)二。 那么大家再想想，怎么能夠做到這一點(diǎn)？怎么能夠找到這兩個集合的交集呢？其實(shí)也比較簡單。比如說從綠色的點(diǎn)開始，先訓(xùn)練它學(xué)會任務(wù)一。在訓(xùn)練它學(xué)習(xí)任務(wù)二的過程中，控制它不要跑出任務(wù)一的解空間，也就是說只在藍(lán)色區(qū)域中尋找解決任務(wù)二的可能性。如果它最后能找到這樣一種可能性，它就必然位于這兩個集合的交集，也就能夠在學(xué)習(xí)新任務(wù)過程中不忘記舊的任務(wù)。
這個原理怎么去設(shè)計，怎么用數(shù)學(xué)方法去實(shí)現(xiàn)？就是靠左邊這張圖。簡單來說，我們設(shè)計了一種叫正交投影的方式，把一個新的學(xué)習(xí)的向量投影回原來的解空間。具體的數(shù)學(xué)細(xì)節(jié)我就不講了，可能要在大學(xué)學(xué)完線性代數(shù)之后才能理解這個原理。 大家可能會問，我們的大腦為什么沒有災(zāi)難性遺忘呢？大腦也是神經(jīng)網(wǎng)絡(luò)，為什么在學(xué)習(xí)新知識的過程中不會忘記舊知識呢？其實(shí)很多神經(jīng)科學(xué)家發(fā)現(xiàn)，我們的大腦也是用所謂正交的方式來避免信息的相互干擾的。  ▲左：Libby and Buschman, 2021右：Xie et al, 2022 這是兩個最近的研究，它們都發(fā)現(xiàn)我們的大腦在編碼不同信息的時候，特別是在你希望這兩種信息不要互相干擾的時候，往往會用正交的方式。 這對我們也是個很好的啟發(fā)：我們在研究人工智能的過程中得到的一些發(fā)現(xiàn)、認(rèn)知和經(jīng)驗，有可能反過來啟發(fā)我們對大腦工作機(jī)理的認(rèn)識。而且這不是單向的啟發(fā)，而是腦科學(xué)和人工智能之間雙向的相互促進(jìn)。 提出來這樣一種正交學(xué)習(xí)的方式之后，我們就要對這個原理做驗證。它到底管不管用？到底能不能讓一套系統(tǒng)不斷地去學(xué)習(xí)新的知識呢？為此，我們做了一個人工智能跟人的連續(xù)學(xué)習(xí)能力的簡單對比。 ▲C L. CASIA Online and Offline Chinese Handwriting Databases[J]. NLPR, 2011. 大家在小時候都需要學(xué)漢字。學(xué)漢字是一個很困難的需要持續(xù)學(xué)習(xí)的任務(wù)，每個人在小學(xué)時期大概要學(xué)3000多個漢字，這是漢字一類字庫。我們要花好幾年的時間，還要反復(fù)不斷地去復(fù)習(xí)，才能學(xué)會這幾千個漢字。 我們就用這套系統(tǒng)做了兩種測試。一種測試是讓它一次性學(xué)習(xí)3000多個漢字，另外一種是讓它一個字一個字地學(xué)，就像我們?nèi)艘粯?，最后看效果怎么樣?o:p>
我們做了比較發(fā)現(xiàn)，如果讓它一次性學(xué)會所有漢字，正確率是97%；如果讓它一個字一個字學(xué)，最后正確率是93%。雖然正確率大概下降了4個百分點(diǎn)，但是實(shí)際上它獲得了非常巨大的靈活性的提升。 因為如果你一次性學(xué)的話，學(xué)會的就只有這3000多個字，其他的字還是不會。但如果你能夠一個字一個字地學(xué)的話，就可以學(xué)習(xí)更多新的它不知道的漢字，還有一些新知識，讓自己本領(lǐng)越來越強(qiáng)。這就是我們提出來的解決從封閉環(huán)境到開放環(huán)境的辦法。 第二個維度就是從靜態(tài)環(huán)境到動態(tài)環(huán)境。
神經(jīng)網(wǎng)絡(luò)其實(shí)是從輸入到輸出的映射，比如給它一把刀，它看到刀就認(rèn)為這是危險信號，知道要逃避。網(wǎng)絡(luò)是能夠?qū)W會這個的，但是學(xué)會之后這個反應(yīng)就固定下來了。每次你給它呈現(xiàn)一把刀時，它就會做出躲避的反應(yīng)。
但我們不是這樣的，人類沒有這么刻板，可以隨機(jī)應(yīng)變。比如你給別人看一把刀，別人的反應(yīng)會取決于這把刀是在廚房做菜的場景還是在犯罪現(xiàn)場的場景，不同場景下我們會有完全不一樣的反應(yīng)。這就是人類大腦一個非常靈活的機(jī)制。
在我們大腦當(dāng)中也有一些底層的映射，看到什么就傾向做什么。比如口渴的時候看到有杯水，我們會傾向于喝水。但是我們不會總是在看到一杯水時就拿起來喝，還會考慮其他的很多因素，比如這杯水是不是剛燒開的一杯燙水，這杯水衛(wèi)不衛(wèi)生，或者這杯水在商店里賣得貴不貴，這杯水是別人的還是我自己的，等等。很多因素我們都會加以考慮，最后來調(diào)控底層的映射，決定看見這杯水要不要喝。
神經(jīng)科學(xué)家們把這樣的一個機(jī)制做了抽象，叫做認(rèn)知控制。也就是說，我們有很多的感覺輸入，也有運(yùn)動輸出，跟神經(jīng)網(wǎng)絡(luò)一樣。我們在感覺輸入和運(yùn)動輸出之間有很多映射，但是我們并不是機(jī)械地執(zhí)行這些映射，還有認(rèn)知控制的層面。 就好像我們的大腦里有一個模塊，它在隨時隨地監(jiān)控著我們的環(huán)境、狀態(tài)和任務(wù)，用這些因素來調(diào)控底層映射到底應(yīng)該怎么去執(zhí)行。就像鐵路上的扳道工一樣，一輛列車過來，認(rèn)知控制機(jī)制可以決定這個車是應(yīng)該沿著上面這條路走，還是扳下道岔把它換到下一條路上去。
大腦中執(zhí)行這個任務(wù)的區(qū)域叫前額葉，就是這張圖上標(biāo)黃的區(qū)域，在我們額頭的后面。神經(jīng)科學(xué)的研究告訴我們，人類就是用前額葉做認(rèn)知控制，不斷地觀察周圍的環(huán)境，即情境信號，用情境信號來調(diào)控底層映射的。
因此我們就希望把這個發(fā)現(xiàn)用到人工神經(jīng)網(wǎng)絡(luò)當(dāng)中去，讓它也能獲得這種隨機(jī)應(yīng)變的能力。我們設(shè)計了這樣的系統(tǒng)，這個系統(tǒng)中有很多不同的底層映射，再通過情境處理模塊來根據(jù)環(huán)境、任務(wù)、條件等情境信號，調(diào)控底層映射下面復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)。
我們還做了一個簡單的驗證。用來驗證的數(shù)據(jù)集叫Celeb A數(shù)據(jù)集。是由一些國外明星面孔所組成的數(shù)據(jù)集。每張面孔都有很多個不同的屬性，比如這張臉?biāo)降资悄惺桥⒛昙o(jì)大還是年紀(jì)小、頭發(fā)長不長、戴不戴眼鏡、顴骨高不高等等，共有40多個不同的屬性。 傳統(tǒng)上要判斷這40個不同的屬性就要設(shè)計40個不同的系統(tǒng)，我們覺得這就不是一個能隨機(jī)應(yīng)變的、有高度適應(yīng)性的系統(tǒng)，而是一個靜態(tài)的系統(tǒng)，因為它每次都在做同樣的事情。 于是，我們用情景化學(xué)習(xí)的方式構(gòu)建出了一套人工智能系統(tǒng)，這一個系統(tǒng)就能做這40個任務(wù)，只要告訴它現(xiàn)在要做哪個任務(wù)，它就能做哪個任務(wù)。 很有意思的是，這還可以跟我剛才說的連續(xù)學(xué)習(xí)的功能結(jié)合在一起。我們讓這套系統(tǒng)一個一個去學(xué)習(xí)這40個任務(wù)，讓它像我們一樣不斷學(xué)習(xí)，讓自己的知識更豐富，本領(lǐng)更強(qiáng)大，像我們一樣越來越知道在什么情況下應(yīng)該做什么樣的事情。
我們希望人工智能有類似這樣的能力，一方面能夠通過持續(xù)學(xué)習(xí)的辦法，從封閉環(huán)境走到開放環(huán)境，一方面能通過情境化學(xué)習(xí)的辦法，從靜態(tài)環(huán)境走到動態(tài)環(huán)境。最后能把這兩個方面結(jié)合起來，讓智能系統(tǒng)從左下角區(qū)域逐漸朝著右上角適應(yīng)動態(tài)開放的環(huán)境去演進(jìn)，在演進(jìn)中首先達(dá)到人的智能水平，從原理上說，它最后甚至可以超過人類的智能水平。 如何克服一本正經(jīng)地胡說八道 這就是我們之前做的一個工作，展示了如何從大腦得到啟發(fā)，來設(shè)計更好的、更新的、更強(qiáng)大的人工智能系統(tǒng)。 最近大家可能關(guān)注到了大模型，這是目前非常熱門的領(lǐng)域，不知道大家有沒有用大模型來幫助自己學(xué)習(xí)過？我想說，大家在用大模型的時候，一定要小心：大模型有時候會有幻覺。 什么叫做大模型的幻覺？這是我自己測試的一個很有名的大模型，我問他中國類腦智能專家有哪些，它就給我列了下面這段回復(fù)。
它說中國類腦智能領(lǐng)域有很多專家和研究機(jī)構(gòu)，以下是其中一些知名的類腦智能研究專家。第一位是田剛，中國科學(xué)院自動化研究所研究員，人工智能領(lǐng)域的知名專家，主要研究方向是類腦智能和認(rèn)知計算。 大家聽著是不是覺得特別靠譜？它知道我要問什么東西，也給出了看起來很權(quán)威的答案。但是問題是什么呢？因為我就是自動化所的科研人員，我知道我們所沒有這樣一位叫田剛的科學(xué)家。這就是大模型的幻覺，它在一本正經(jīng)地胡說八道。 為什么會是這樣呢？我們要理解它背后的機(jī)制。大家知道大模型是怎么訓(xùn)練的嗎？是把很多互聯(lián)網(wǎng)上的語料放在一起訓(xùn)練，所以大模型最后學(xué)會的只是這些語料符號之間的統(tǒng)計關(guān)聯(lián)。所以對于大模型來講，田剛是一個完全合理的名字，自動化所里完全有可能有一個叫田剛的科學(xué)家在研究類腦智能。 但是，它不知道這不對應(yīng)我們現(xiàn)實(shí)的生活。對大模型來講，它沒有區(qū)分虛擬和現(xiàn)實(shí)的能力，而這不符合我們真實(shí)的人腦認(rèn)識這個世界和使用語言的規(guī)律，我們要克服的就是這樣的東西。
我們也在做相應(yīng)的工作，這跟剛才前額葉的底層映射模式是一樣的，用的是同樣的架構(gòu)。我們希望未來的人工智能系統(tǒng)不光有一個符號層面，它的符號層面能和真實(shí)世界理解層面有機(jī)地聯(lián)系在一起。就像人的大腦一樣，可以做語言的處理，也知道語言符號所對應(yīng)的真實(shí)世界的產(chǎn)物是什么。我們希望類似的研究能夠有一天幫助我們制造出真正像人一樣智能，而不是一本正經(jīng)胡說八道的智能體。
我今天跟大家講了一些關(guān)于大腦和人工智能的故事，還講了我們是怎樣從腦科學(xué)中得到啟發(fā)來設(shè)計更好的人工智能系統(tǒng)的。同時非常重要的是，對人工智能的研究反過來可以幫助我們更好地認(rèn)識大腦。 我覺得未來這個領(lǐng)域還有很多有趣的事情還有待于我們發(fā)現(xiàn)，很多重要的事情有待于我們?nèi)?shí)現(xiàn)，這都有賴于在座的各位同學(xué)。 |
|
|
