這兩年， 頻頻有專家警示深度學(xué)習(xí)即將進(jìn)入寒冬。 而同時(shí)， 一個(gè)名叫「類腦智能」的詞匯火起來， 這個(gè)概念說的是一種比目前深度學(xué)習(xí)更加接近人腦的智能。 這背后的故事是， 深度學(xué)習(xí)的大佬，目前已經(jīng)注意到深度學(xué)習(xí)的原創(chuàng)性進(jìn)展面臨瓶頸，甚至呼吁全部重來。為了拯救這種趨勢， 模擬人腦再次成為一種希望。 然而這一思路是否經(jīng)得住深度推敲?

我本人做過多年計(jì)算神經(jīng)科學(xué)和AI ， 做一個(gè)拋磚引玉的小結(jié)。

AI發(fā)展的危機(jī)人工智能， 目前多被理解成一個(gè)領(lǐng)域領(lǐng)應(yīng)用的工程學(xué)科，從自動(dòng)安防系統(tǒng)到無人駕駛是它的疆土，而模式識(shí)別和計(jì)算機(jī)專家， 是這片陸地的原住民。 目前的人工智能事實(shí)上以工程思維為主， 從當(dāng)下人工智能的主流深度學(xué)習(xí)來看， 打開任何一篇論文， 映入眼簾的是幾個(gè)知名數(shù)據(jù)集的性能比較，無論是視覺分類的ImageNet，Pascal Vol， 還是強(qiáng)化學(xué)習(xí)的Atari game。各種各樣的bench mark和曲線， 讓我們感覺像是一個(gè)CPU或者數(shù)碼相機(jī)的導(dǎo)購指南。

那么， 是否這些在這些流行數(shù)據(jù)庫跑分最高的「智能工具」就更智能？ 這可能取決于對「智能」 本身的定義。  如果你問一個(gè)認(rèn)知專家「智能」是不是ImageNet的錯(cuò)誤率， 那么他一定會(huì)覺得相當(dāng)好笑。 一個(gè)人可能在識(shí)別圖片的時(shí)候由于各種勞累和馬虎， 在這個(gè)數(shù)據(jù)集的錯(cuò)誤率高于機(jī)器。但是只要你去和它談任何一個(gè)圖片它所理解的東西， 比如一個(gè)蘋果， 你都會(huì)震驚于其信息之豐富， 不僅包含了真實(shí)蘋果的各種感官， 還包含了關(guān)于蘋果的各種文學(xué)影視， 從夏娃的蘋果， 到白雪公主的蘋果。 應(yīng)該說， 人類理解的蘋果更加接近概念網(wǎng)絡(luò)里的一個(gè)節(jié)點(diǎn)，和整個(gè)世界的所有其它概念相關(guān)聯(lián)， 而非機(jī)器學(xué)習(xí)分類器眼里的n個(gè)互相分離的「高斯分布」。

如果我們認(rèn)為， 「智能」 是解決某一類復(fù)雜問題的能力，是否我們就可以完全不care上述那種「理解」呢 ？ 這樣的智能工具， 頂多是一些感官的外延， 而「感官」是否可以解決復(fù)雜問題呢？ 一個(gè)能夠準(zhǔn)確的識(shí)別1000種蘋果的機(jī)器， 未必能有效的利用這樣的信息去思考如何把它在圣誕節(jié)分作為禮品分發(fā)給公司的員工， 或者取悅你的女友。沒有「理解」的智能， 將很快到達(dá)解決問題復(fù)雜度的上限。 缺少真正的理解， 甚至連做感官有時(shí)也會(huì)捉襟見肘， 你在圖像里加入各種噪聲， 會(huì)明顯的干擾分類的準(zhǔn)確性， 這點(diǎn)在人類里并不存在。比如下圖的小狗和曲奇， 你可以分出來，AI很難。

「語言」在人類的智能里享有獨(dú)一無二的特殊性，而剛剛的「理解」問題， 背后的本質(zhì)是目前深度學(xué)習(xí)對語言的捉襟見肘。  雖然我們可以用強(qiáng)大的LSTM生成詩歌(下圖)， 再配上注意力機(jī)制和外顯記憶與人類對話， 也不代表它能理解人類的這個(gè)語言系統(tǒng)。 目前機(jī)器對自然語言處理的能力遠(yuǎn)不及視覺（當(dāng)下的圖卷積網(wǎng)絡(luò)或可以這個(gè)領(lǐng)域做出貢獻(xiàn)）。

更加糟糕的還有強(qiáng)化學(xué)習(xí)， 深度強(qiáng)化學(xué)習(xí)已經(jīng)戰(zhàn)勝了最強(qiáng)大的人類棋手。 但是強(qiáng)化學(xué)習(xí)卻遠(yuǎn)非一種可靠的實(shí)用方法。 這里面最難的在于目前的強(qiáng)化學(xué)習(xí)還做不到可擴(kuò)展， 也就是從一個(gè)游戲的問題擴(kuò)展到真實(shí)的問題時(shí)候會(huì)十分糟糕。 一個(gè)已經(jīng)學(xué)的很好的強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)，可以在自己已經(jīng)學(xué)到的領(lǐng)域所向披靡， 然而在游戲里稍微增加一點(diǎn)變化， 神經(jīng)網(wǎng)絡(luò)就不知所措。 我們可以想象成這是泛化能力的嚴(yán)重缺失， 在真實(shí)世界里，這恰恰一擊致命。

事實(shí)上在很長時(shí)間里，人工智能的過分依賴工科思維恰恰給它的危機(jī)埋下了伏筆，在人工數(shù)據(jù)上破記錄， 并不代表我們就會(huì)在剛說的「理解」上做進(jìn)步。 這更像是兩個(gè)不同的進(jìn)化方向。 其實(shí)， 關(guān)于智能的更深刻的理解， 早就是認(rèn)知科學(xué)家，心理學(xué)家和神經(jīng)科學(xué)家的核心任務(wù)。 如果我們需要讓人工智能進(jìn)步， 向他們?nèi)〗?jīng)就看起來很合理。

腦科學(xué)與人工智能合作與分離的歷史

雖然看起來模擬生物大腦是達(dá)到更高層次人工智能的必由之路，但是從當(dāng)下的人工智能學(xué)者的角度，這遠(yuǎn)非顯然。 這里的淵源來自人工智能的早期發(fā)展史，應(yīng)該說深度學(xué)習(xí)來自于對腦科學(xué)的直接取經(jīng)， 然而它的壯大卻是由于對這條道路的背離。 我們可以把這個(gè)歷史概括為兩次合作一次分離。

第一次合作： 深度學(xué)習(xí)的前身-感知機(jī)。模擬人類大腦的人工智能流派又稱為連接主義，最早的連接主義嘗試就是模擬大腦的單個(gè)神經(jīng)元。 Warren McCulloch 和 WalterPitts在1943 提出而來神經(jīng)元的模型， 這個(gè)模型類似于某種二極管或邏輯門電路。事實(shí)上， 人們很快發(fā)現(xiàn)感知機(jī)的學(xué)習(xí)有巨大的局限性，Minksky等一批AI早期大師發(fā)現(xiàn)感知機(jī)無法執(zhí)行「異或」這個(gè)非?；镜倪壿嬤\(yùn)算，從而讓人們徹底放棄了用它得到人類智能的希望。  對感知機(jī)的失望導(dǎo)致連接主義機(jī)器學(xué)習(xí)的研究陷入低谷達(dá)15年， 直到一股新的力量的注入。

第二次合作：  這次風(fēng)波， 來自一群好奇心極強(qiáng)的物理學(xué)家，在20世紀(jì)80年代，hopefiled提出了它的 Hopefield 網(wǎng)絡(luò)模型，這個(gè)模型受到了物理里的Ising模型和自旋玻璃模型的啟發(fā)， Hopefield發(fā)現(xiàn)，自旋玻璃和神經(jīng)網(wǎng)絡(luò)具有極大的相似性。每個(gè)神經(jīng)元可以看作一個(gè)個(gè)微小的磁極， 它可以一種極為簡單的方法影響周圍的神經(jīng)元，一個(gè)是興奮（使得其他神經(jīng)元和自己狀態(tài)相同）， 一個(gè)是抑制（相反）。 如果我們用這個(gè)模型來表示神經(jīng)網(wǎng)絡(luò)， 那么我們會(huì)立刻得到一個(gè)心理學(xué)特有的現(xiàn)象： 關(guān)聯(lián)記憶。 比如說你看到你奶奶的照片， 立刻想到是奶奶，再聯(lián)想到和奶奶有關(guān)的很多事。 這里的觀點(diǎn)是， 某種神經(jīng)信息（比如奶奶）對應(yīng)神經(jīng)元的集體發(fā)放狀態(tài)（好比操場上正步走的士兵）， 當(dāng)奶奶的照片被輸入進(jìn)去， 它會(huì)召喚這個(gè)神經(jīng)元的集體狀態(tài)， 然后你就想到了奶奶。

由于這個(gè)模型可以模擬心理學(xué)的現(xiàn)象， 人們開始重新對模擬人腦的人工智能報(bào)以希望。 人們從不同領(lǐng)域開始涌入這個(gè)研究。 在這批人里，發(fā)生了一個(gè)有趣的分化。 有的人沿著這個(gè)路數(shù)去研究真實(shí)大腦是怎么思考的， 有的人則想直接用這個(gè)模型制造機(jī)器大腦， 前者派生出了計(jì)算神經(jīng)科學(xué)， 后者則導(dǎo)致了聯(lián)結(jié)主義機(jī)器學(xué)習(xí)的復(fù)興， 你可以理解為前者對貓感興趣，后者只對機(jī)器貓感興趣，雖然兩者都在那里寫模型。 CNN和RNN分別在80年中后期被發(fā)現(xiàn)， 應(yīng)該說， CNN的結(jié)構(gòu)是直接借鑒了Husel和Wiesel 發(fā)現(xiàn)的視覺皮層處理信息的原理， 而RNN則是剛剛說到的Hopefield 網(wǎng)絡(luò)的一個(gè)直接進(jìn)化。

一批人用模型研究真實(shí)大腦， 另一批研究機(jī)器大腦。

AI與腦科學(xué)的分離： 90年代后人工智能的主流是以支持向量機(jī)為代表的統(tǒng)計(jì)機(jī)器學(xué)習(xí)， 而非神經(jīng)網(wǎng)絡(luò)。 在漫長的聯(lián)結(jié)主義低谷期， Hinton堅(jiān)信神經(jīng)網(wǎng)絡(luò)既然作為生物智能的載體， 它一定會(huì)稱為人工智能的救星， 在它的努力下， Hopefield網(wǎng)絡(luò)很快演化稱為新的更強(qiáng)大的模型玻爾茲曼機(jī)， 玻爾茲曼機(jī)演化為受限玻爾茲曼機(jī)， 自編碼器， 堆疊自編碼器，這已經(jīng)很接近當(dāng)下的深度網(wǎng)絡(luò)。 而深度卷積網(wǎng)絡(luò)CNN則連續(xù)打破視覺處理任務(wù)的記錄，宣布深度學(xué)習(xí)時(shí)代開始。

然而， 如果你認(rèn)為這一股AI興起的風(fēng)波的原因是我們對大腦的借鑒， 則一定會(huì)被機(jī)器學(xué)習(xí)專家diss，恰恰相反，這波深度學(xué)習(xí)的崛起來自于深度學(xué)習(xí)專家對腦科學(xué)的背離。  CNN雖然直接模擬了大腦視皮層結(jié)構(gòu)的模擬， 利用了層級(jí)編碼， 局部網(wǎng)絡(luò)連接， 池化這樣和生物直接相關(guān)的原理。但是， 網(wǎng)絡(luò)的訓(xùn)練方法，卻來自一種完全非生物的方法。  由于信息存儲(chǔ)在無數(shù)神經(jīng)元構(gòu)成的網(wǎng)絡(luò)連接里， 如何讓它學(xué)進(jìn)去， 也是最難的問題。很久以前，人們使用的學(xué)習(xí)方法是Hebian learning 的生物學(xué)習(xí)方法， 這種方法實(shí)用起來極為困難。 Hinton等人放棄這條道路而使用沒有生物支撐但更加高效的反向傳播算法， 使得最終訓(xùn)練成功。 從此數(shù)據(jù)猶如一顆顆子彈打造出神經(jīng)網(wǎng)絡(luò)的雛形 ，雖然每次只改一點(diǎn)點(diǎn)， 最終當(dāng)數(shù)據(jù)的量特別巨大， 卻發(fā)生一場質(zhì)變。

CNN能夠在2012 年而不是2011或者2010年開始爆發(fā)是因?yàn)槟且荒耆藗兲岢隽薃lexnet。  而Alexnet比起之前的Lenet一個(gè)關(guān)鍵性的微小調(diào)整在于使用Relu，所謂線性整流單元替換了之前的Sigmoid作為激活函數(shù)。Simoid 函數(shù)才是更加具有生物基礎(chǔ)的學(xué)習(xí)函數(shù)， 然而能夠拋棄模擬大腦的想法使用Relu， 使得整個(gè)網(wǎng)絡(luò)的信息流通通暢了很多。

深度學(xué)習(xí)另一條主線， 沿著讓機(jī)器聽懂人類的語言， 一種叫LSTM的神經(jīng)網(wǎng)絡(luò)， 模擬了人類最奇妙的記憶能力， 并卻開始處理和自然語言有關(guān)的任務(wù)， LSTM框架的提出依然是沒有遵循大腦的結(jié)構(gòu)，而是直接在網(wǎng)絡(luò)里引入類似邏輯門的結(jié)構(gòu)控制信息。

由此我們看到， 神經(jīng)網(wǎng)絡(luò)雖然在誕生之初多次吸收了生物學(xué)的原理本質(zhì)， 而其最終的成功卻在于它大膽的脫離生物細(xì)節(jié)， 使用更加講究效率的數(shù)理工科思維。 生物的細(xì)節(jié)千千萬， 有一些是進(jìn)化的副產(chǎn)品， 或者由于生物經(jīng)常挨餓做出的妥協(xié)， 卻遠(yuǎn)非智能的必須， 因此對它們的拋棄極大的解放了人工智能的發(fā)展。

腦科學(xué)究竟能否開啟深度學(xué)習(xí)時(shí)代的下個(gè)階段

那么生物神經(jīng)網(wǎng)絡(luò)究竟可不可以啟發(fā)人工智能呢？ 剛剛的分析我們看到生物的細(xì)節(jié)并不一定對人工智能有幫助， 而生物大腦計(jì)算的根本原理卻始終在推動(dòng)深度學(xué)習(xí) 。 正如CNN的發(fā)展直接使用了層級(jí)編碼的原理， 然后根據(jù)自己計(jì)算的需求重新設(shè)定了細(xì)節(jié)， 無論如何變化， 生物視覺處理和CNN背后的數(shù)學(xué)核心卻始終保持一致。

那么目前的深度學(xué)習(xí)工具用到了多少生物大腦計(jì)算的基本原理呢， 答案是， 冰山一角。 如果說人工智能要繼續(xù)革命， 那么無疑還要繼續(xù)深挖這些原理，然后根據(jù)這些原則重新設(shè)定細(xì)節(jié)。 答案很簡單， 宇宙的基本定律不會(huì)有很多， 比如相對論量子論這樣的根本原理幾乎統(tǒng)治物理世界。 如果生物大腦使用一套原理實(shí)現(xiàn)了智能， 那么很可能人工智能也不會(huì)差很遠(yuǎn)。即使細(xì)節(jié)差距很大， 那個(gè)根本的東西極有可能是一致的。

這樣的數(shù)學(xué)原理應(yīng)該不會(huì)有很多條， 因?yàn)槿四X的結(jié)構(gòu)一個(gè)驚人的特點(diǎn)就是雖然腦區(qū)非常不同， 但不同腦區(qū)的構(gòu)造卻極為相似， 這種相似性顯示了大腦不同腦區(qū)使用類似的基本原理。 我們目前的深度學(xué)習(xí)算法， 無論是CNN還是RNN，都只是發(fā)現(xiàn)了這個(gè)基本原理的某個(gè)局部。  發(fā)現(xiàn)這個(gè)基本原理， 恰恰是計(jì)算神經(jīng)科學(xué)的使命。 對于智能這個(gè)上帝最杰出的作品， 我們能做的只有盲人摸象， 目前摸到的東西有一些已經(jīng)被用到了人工智能里， 有些則沒有，我們隨便舉幾個(gè)看看。

確定已經(jīng)被應(yīng)用的原理：

1.層級(jí)編碼原理（Hierarchical coding)： 生物神經(jīng)網(wǎng)絡(luò)最基本的結(jié)構(gòu)特點(diǎn)是多層， 無論是視覺， 聽覺， 我們說基本的神經(jīng)回路都有層級(jí)結(jié)構(gòu)， 而且經(jīng)常是六層。這種縱深的層級(jí)， 對應(yīng)的編碼原理正是從具體特征到抽象特征的層級(jí)編碼結(jié)構(gòu)。 最有名的莫過于祖母細(xì)胞， 這一思路直接催生了以CNN為代表的深度學(xué)習(xí)。

2.集群編碼原理 (Distributed coding)： 一個(gè)與層級(jí)編碼相對應(yīng)的生物神經(jīng)編碼假設(shè)是集群編碼， 這里說的是一個(gè)抽象的概念， 并非對應(yīng)某個(gè)具體的神經(jīng)元， 而是被一群神經(jīng)元所表述。 這種編碼方法， 相比層級(jí)編碼， 會(huì)更具備魯棒性， 或更加反脆弱，因?yàn)閯h除一些細(xì)胞不會(huì)造成整體神經(jīng)回路的癱瘓。 集群編碼在深度學(xué)習(xí)里的一個(gè)直接體現(xiàn)就是詞向量編碼， word2vect，  詞向量編碼并沒有采取我們最常想到的每個(gè)向量獨(dú)立的獨(dú)熱編碼， 而是每個(gè)向量里有大量非零的元素，  如此好比用一個(gè)神經(jīng)集群表述一個(gè)單詞， 帶來的好處不僅是更加具有魯棒性， 而且我們無形中引入了詞語之間本來的互相關(guān)聯(lián)，從而使得神經(jīng)網(wǎng)絡(luò)更好的吸收語義信息， 從而增加了泛化能力。 在此處， 每個(gè)詞語概念都有多個(gè)神經(jīng)元表達(dá)， 而同一個(gè)神經(jīng)元，可以參與多個(gè)概念的描述。 這與之前說的每個(gè)概念比如祖母對應(yīng)一個(gè)特定的神經(jīng)元有比較大的區(qū)別。

然而目前的深度學(xué)習(xí)依然缺乏對集群編碼更深刻的應(yīng)用， 這點(diǎn)上來看，計(jì)算神經(jīng)科學(xué)走的更遠(yuǎn)，我們使用RNN內(nèi)在的動(dòng)力學(xué)特性， 可以編碼很多屬性。

局部被應(yīng)用或沒有被應(yīng)用的原理：

1.cortical minicolumn：皮層內(nèi)的神經(jīng)元都采取簇狀結(jié)構(gòu)， 細(xì)胞之間不是獨(dú)立的存在， 而是聚集成團(tuán)簇， 猶如一個(gè)微型的柱狀體。  這些柱狀體成為信息傳輸?shù)幕締卧? 這種驚人一致的皮層內(nèi)結(jié)構(gòu)， 背后的認(rèn)知原理是什么呢？  目前還沒有定論。 但是Hinton已經(jīng)把類似的結(jié)構(gòu)用到了Capsule Network ， 在那里， 每個(gè)Capsule對應(yīng)一個(gè)簇狀體， 而它們有著非常明確的使命， 就是記錄一個(gè)物體的不同屬性， 由于一個(gè)Capsule有很多神經(jīng)元構(gòu)成，它也可以看作一個(gè)神經(jīng)元向量， 如果它用來記錄一組特征， 則可以對付向旋轉(zhuǎn)不變性這種非常抽象的性質(zhì)。

2.興奮抑制平衡：生物神經(jīng)系統(tǒng)的各個(gè)組成部分， 尤其是靠近深層的腦區(qū)， 都具有的一個(gè)性質(zhì)是興奮性和抑制性神經(jīng)元的信號(hào)互相抵消，猶如兩個(gè)隊(duì)伍拔河， 兩邊勢均力敵（最終和為零）。這使得每個(gè)神經(jīng)元接受的信息輸入都在零附近， 這帶來的一個(gè)巨大的好處是神經(jīng)元對新進(jìn)入信號(hào)更加敏感， 具有更大的動(dòng)態(tài)范圍。  這個(gè)原理已經(jīng)被深度學(xué)習(xí)悄悄的介入了， 它的直接體現(xiàn)就是極為實(shí)用的batch normalization， 輸入信號(hào)被加上或減去一個(gè)值從而成為一個(gè)零附近的標(biāo)準(zhǔn)高斯分布（這和興奮抑制平衡效果類似）， 從而大大提升了網(wǎng)絡(luò)梯度傳輸?shù)男省?/p>

3.動(dòng)態(tài)網(wǎng)絡(luò)連接：生物神經(jīng)系統(tǒng)的神經(jīng)元和神經(jīng)元之間的連接-突觸本身是隨放電活動(dòng)變化的。 當(dāng)一個(gè)神經(jīng)元經(jīng)過放電， 它的活動(dòng)將會(huì)引起細(xì)胞突觸鈣離子的濃度變化，從而引起兩個(gè)神經(jīng)元間的連接強(qiáng)度變化。這將導(dǎo)致神經(jīng)網(wǎng)絡(luò)的連接權(quán)重跟著它的工作狀態(tài)變化，  計(jì)算神經(jīng)科學(xué)認(rèn)為動(dòng)態(tài)連接的神經(jīng)網(wǎng)絡(luò)可以承載工作記憶， 而這點(diǎn)并沒有被目前的深度學(xué)習(xí)系統(tǒng)很好利用 。

4.Top down processing：目前深度學(xué)習(xí)使用的網(wǎng)絡(luò)以前向網(wǎng)絡(luò)為主（bottom up）， 而事實(shí)上， 在生物大腦里， 不同腦區(qū)間反饋的連接數(shù)量超過前向的連接， 這些連接的作用是什么？  一個(gè)主流的觀點(diǎn)認(rèn)為它們是從高級(jí)腦區(qū)向感官的反向調(diào)節(jié)（top down）， 如同我們所說的相由心生， 而不是相由眼生。 同一個(gè)圖片有美女拿著蛋糕， 可能一個(gè)你在饑腸轆轆的時(shí)候只看到蛋糕而吃飽了就只看到美女。 我們所看到的，很大程度上取決于我們想要看到什么，以及我們的心情 。這點(diǎn)對我們的生存無疑十分重要， 你顯然不是在被動(dòng)的認(rèn)知和識(shí)別物體， 你的感知和認(rèn)知顯然是統(tǒng)一的。 你在主動(dòng)的搜索對你的生存有利的物體， 而非被動(dòng)的感覺外界存在。這一點(diǎn)目前深度學(xué)習(xí)還完全沒有涉及。 一個(gè)引入相應(yīng)的機(jī)制的方法是加入從深層神經(jīng)網(wǎng)絡(luò)返回輸入層的連接，這樣深層的神經(jīng)活動(dòng)就可以調(diào)控輸出層的信息處理，  這可能對真正的「 理解」 有著極為重大的意義。

5，Grid Cells：海馬柵格細(xì)胞是一組能夠集群表征空間位置的細(xì)胞， 它們的原理類似于對物體所在的位置做了一個(gè)傅里葉變換， 形成一組表征物體空間位置的坐標(biāo)基。為什么要對空間里物體的位置做一次傅里葉變換， 這里包含的原理是對任何環(huán)境中的物體形成通用的空間表示， 在新的環(huán)境里也可以靈活的學(xué)習(xí)物體的位置，而不是一下子成為路癡。

我們對柵格細(xì)胞的認(rèn)知可能只是更大的神經(jīng)編碼原則的一個(gè)局部，正如同傅里葉變換和量子力學(xué)之間存在著隱秘的聯(lián)系。 雖然柵格網(wǎng)絡(luò)，目前已經(jīng)被Deepmind用于空間導(dǎo)航任務(wù)， 但是目前AI所應(yīng)用的應(yīng)該只是這一原理的冰山一角。

6.  Dale Principle：Dale Principle 說的是興奮型和抑制型神經(jīng)元 是完全分開的，猶如動(dòng)物分雌雄。 興奮性神經(jīng)元只對周圍神經(jīng)元發(fā)放正向反饋（只分泌興奮性遞質(zhì)， 如Glutamine），讓其它神經(jīng)元一起興奮， 而抑制型神經(jīng)元只發(fā)放負(fù)向反饋（只分泌抑制型遞質(zhì)， 如GABA），取消其它神經(jīng)元的興奮。 目前的深度學(xué)習(xí)網(wǎng)絡(luò)不會(huì)對某個(gè)神經(jīng)元的連接權(quán)重做如此限制 ，每個(gè)神經(jīng)元均可向周圍神經(jīng)元發(fā)放正或負(fù)的信號(hào)。 這一原理到底對AI有沒有作用目前未知。

7.Routing by Inhibitory cells ：生物神經(jīng)系統(tǒng)包含種類豐富的抑制型神經(jīng)元， 它們往往在生物神經(jīng)網(wǎng)絡(luò)起到調(diào)控功能，如同控制信息流動(dòng)的路由器，在合適的時(shí)候開啟或關(guān)閉某個(gè)信號(hào)。 當(dāng)下的AI直接用attention的機(jī)制， 或者LSTM里的輸入門來調(diào)控是否讓某個(gè)輸入進(jìn)入網(wǎng)絡(luò)， 其它一點(diǎn)類似路由器的作用， 但是種類和形式的多樣性遠(yuǎn)不及生物系統(tǒng)。

8.臨界：大腦的神經(jīng)元組成一個(gè)巨大的喧鬧的動(dòng)力系統(tǒng)， 根據(jù)很多實(shí)驗(yàn)數(shù)據(jù)發(fā)現(xiàn)， 這個(gè)動(dòng)力系統(tǒng)處于平衡和混沌的邊緣， 被稱為臨界。 在臨界狀態(tài)， 神經(jīng)元的活動(dòng)是一種混亂和秩序的統(tǒng)一體， 看似混亂， 但是隱含著生機(jī)勃勃的秩序。 臨界是不是也可以用于優(yōu)化目前的深度學(xué)習(xí)系統(tǒng)， 是一個(gè)很大的課題。

9.自由能假說：這個(gè)假定認(rèn)為大腦是一臺(tái)貝葉斯推斷機(jī)器。 貝葉斯推斷和決策的核心即由最新采納的證據(jù)更新先驗(yàn)概率得到后驗(yàn)概率。 認(rèn)知科學(xué)的核心（Perception）就是這樣一個(gè)過程。

這里再說兩句認(rèn)知，認(rèn)知的過程用機(jī)器學(xué)習(xí)的語言說就是用大腦的內(nèi)部變量來模擬外部世界， 并希望建立內(nèi)部世界和外部的一個(gè)一一映射關(guān)系。 這里我們說認(rèn)知的模型是一個(gè)概率模型，并且可以被一系列條件概率所描述。如果用一個(gè)形象的比喻來說， 你可以把你的大腦看成一個(gè)可以自由打隔斷的巨大倉庫， 你要把外部世界不同種類的貨放進(jìn)不同的隔斷，你的大腦內(nèi)部運(yùn)作要有一種對外界真實(shí)變化的推測演繹能力， 即隨時(shí)根據(jù)新的證據(jù)調(diào)整的能力， 你和外界世界的模型匹配的越好， 你的腦子就運(yùn)轉(zhuǎn)越有效率。 認(rèn)知是對外部世界運(yùn)動(dòng)的一種編碼， 你可以立刻聯(lián)想到機(jī)器學(xué)習(xí)里的表征方法（representation）， 如果你熟悉RNN或CNN的embeding過程， 就會(huì)有一種豁然開朗的感覺。  這個(gè)假說的理論如果成立， 我們機(jī)器學(xué)習(xí)目前應(yīng)當(dāng)使用的只是冰山一角， 可以參考強(qiáng)化學(xué)習(xí)種的有模型學(xué)習(xí)。 更多內(nèi)容見大腦的自由能假說-兼論認(rèn)知科學(xué)與機(jī)器學(xué)習(xí)

10.一些未被量化的心理學(xué)和認(rèn)知科學(xué)領(lǐng)地，比如意識(shí)。  意識(shí)可以理解為自我對自我本身的感知。 關(guān)于意識(shí)的起源，已經(jīng)成為一個(gè)重要的神經(jīng)科學(xué)探索方向而非玄學(xué)， 最近的一些文章指出（The controversial correlates of consiousness - Science 2018），  意識(shí)與多個(gè)腦區(qū)協(xié)同的集體放電相關(guān)。 但是， 關(guān)于意識(shí)的一個(gè)重大疑團(tuán)是它對認(rèn)知和智能到底有什么作用， 還是一個(gè)進(jìn)化的副產(chǎn)物。 如果它對智能有不可替代的作用， 那么毫無疑問， 我們需要讓AI最終擁有意識(shí)。  一個(gè)假說指出意識(shí)與我們的社會(huì)屬性相關(guān)， 因?yàn)槲覀冃枰A(yù)測它人的意圖和行動(dòng)， 就需要對它人的大腦建模， 從而派生了對自己本身大腦的感知和認(rèn)知，從而有了意識(shí)。 那么我們究竟需要不需要讓AI之間能夠互相交流溝通形成組織呢？ 這就是一個(gè)更有趣的問題了。

深度學(xué)習(xí)對腦科學(xué)的啟發(fā)

反過來， 深度學(xué)習(xí)的某些發(fā)現(xiàn)也在反向啟發(fā)腦科學(xué)， 這點(diǎn)正好對應(yīng)費(fèi)曼所說的， 如果你要真正理解一個(gè)東西， 請你把它做出來。 由于深度學(xué)習(xí)的BP算法太強(qiáng)大了， 它可以讓我們在不care任何生物細(xì)節(jié)的情況下任意的改變網(wǎng)絡(luò)權(quán)重， 這就好比給我們了一個(gè)巨大的檢測各種理論假設(shè)的東西。 由于當(dāng)下對大腦連接改變的方式我們也只理解了冰山一角， 我們可以先丟下細(xì)節(jié)， 直接去檢驗(yàn)所有可能的選項(xiàng)。 這點(diǎn)上看， 用深度學(xué)習(xí)理解大腦甚至更加有趣。

就那剛剛講的興奮抑制平衡來看， 最初人們對興奮抑制平衡作用的理解更多停留在它通過對信號(hào)做一個(gè)信息增益， 而在深度學(xué)習(xí)興起后 ， 我們越來越多的把它的功能和batch normalization 聯(lián)系起來， 而batch normalization更大的作用在于對梯度消失問題的改進(jìn)， 而且提高了泛化性能， 這無疑可以提示它的更多功能。 而最近的一篇文章甚至直接將它和LSTM的門調(diào)控機(jī)制聯(lián)系起來。 抑制神經(jīng)元可以通過有條件的發(fā)放對信息進(jìn)行導(dǎo)流， 正如LSTM種的輸入門， 輸出門的作用， 而互相連接的興奮神經(jīng)元?jiǎng)t作為信息的載體（對應(yīng)LSTM中央的循環(huán)神經(jīng)網(wǎng)絡(luò)）

我們距離通用人工智能可能還有多遠(yuǎn)？

其實(shí)人工智能的目標(biāo)就是找尋那個(gè)通用人工智能，而類腦計(jì)算是實(shí)現(xiàn)它的一個(gè)重要途徑 。 通用智能和當(dāng)下的智能到底有什么實(shí)質(zhì)性的區(qū)別， 作為本文結(jié)尾， 我們來看一下：

對數(shù)據(jù)的使用效率： 比如大腦對數(shù)據(jù)的應(yīng)用效率和AI算法并非一個(gè)等級(jí)， 你看到一個(gè)數(shù)據(jù)， 就可以充分的提取里面的信息，比如看到一個(gè)陌生人的臉， 你就記住他了， 但是對于目前的AI算法， 這是不可能的， 因?yàn)槲覀冃枰罅康恼掌斎胱屗莆者@件事。 我們可以輕松的在學(xué)完蛙泳的時(shí)候?qū)W習(xí)自由泳， 這對于AI，就是一個(gè)困難的問題， 也就是說，同樣的效率， 人腦能夠從中很快提取到信息， 形成新的技能， AI算法卻差的遠(yuǎn)。

這是為什呢？ 可能這里的掛件體現(xiàn)在一種被稱為遷移學(xué)習(xí)的能力。雖然當(dāng)下的深度學(xué)習(xí)算法也具備這一類舉一反三的遷移學(xué)習(xí)能力， 但是往往集中在一些真正非常相近的任務(wù)里， 人的表現(xiàn)卻靈活的多。這是為什么呢？ 也許， 目前的AI算法缺少一種元學(xué)習(xí)的能力。 和為元學(xué)習(xí)， 就是提取一大類問題里類似的本質(zhì)， 我們?nèi)祟惙浅Ｈ菀赘傻囊粋€(gè)事情。 到底什么造成了人工神經(jīng)網(wǎng)絡(luò)和人的神經(jīng)網(wǎng)路的差距， 還是未知的， 而這個(gè)問題也構(gòu)成一個(gè)非常主流的研究方向。

能耗比：如果和人類相比， 人工智能系統(tǒng)完成同等任務(wù)的功耗是人的極多倍數(shù)（比如阿法狗是人腦消耗的三百倍， 3000MJ vs 10MJ 5小時(shí)比賽）。 如果耗能如此劇烈， 我們無法想象在能源緊張的地球可以很容易大量普及這樣的智能。 那么這個(gè)問題有沒有解呢？  當(dāng)然有， 一種， 是我們本身對能量提取的能力大大增強(qiáng)， 比如小型可控核聚變實(shí)用化。 另一種， 依然要依靠算法的進(jìn)步， 既然人腦可以做到的， 我們相信通過不斷仿生機(jī)器也可以接近。 這一點(diǎn)上我們更多看到的信息是， 人工智能的能耗比和人相比， 還是有很大差距的。

不同數(shù)據(jù)整合： 我們離終極算法相差甚遠(yuǎn)的另一個(gè)重要原因可能是現(xiàn)實(shí)人類在解決的AI問題猶如一個(gè)個(gè)分離的孤島， 比如說視覺是視覺， 自然語言是自然語言， 這些孤島并沒有被打通。 相反，人類的智慧里， 從來就沒有分離的視覺， 運(yùn)動(dòng)或自然語言， 這點(diǎn)上看， 我們還處在AI的初級(jí)階段。 我們可以預(yù)想， 人類的智慧是不可能建立在一個(gè)個(gè)分離的認(rèn)知孤島上的， 我們的世界模型一定建立在把這些孤立的信息領(lǐng)域打通的基礎(chǔ)上， 才可以做到真正對某個(gè)事物的認(rèn)知， 無論是一個(gè)蘋果， 還是一只狗。

溝通與社會(huì)性： 另外， 人類的智慧是建立在溝通之上的， 人與人相互溝通結(jié)成社會(huì)， 社會(huì)基礎(chǔ)上才有文明， 目前的人工智能體還沒有溝通， 但不代表以后是不能的， 這點(diǎn)， 也是一個(gè)目前的AI水平與強(qiáng)AI（超級(jí)算法）的距離所在。

有的人認(rèn)為， 我們可以直接通過模擬大腦的神經(jīng)元，組成一個(gè)和大腦類似復(fù)雜度的復(fù)雜系統(tǒng)， 讓它自我學(xué)習(xí)和進(jìn)化， 從而實(shí)現(xiàn)強(qiáng)AI。 從我這個(gè)復(fù)雜系統(tǒng)專業(yè)的角度看， 這還是一個(gè)不太現(xiàn)實(shí)的事情。因?yàn)閺?fù)雜系統(tǒng)里面最重要的是涌現(xiàn)，也就是說當(dāng)組成一個(gè)集合的元素越來越多，相互作用越來越復(fù)雜， 這個(gè)集合在某個(gè)特殊條件下會(huì)出現(xiàn)一些特殊的總體屬性，比如強(qiáng)AI，自我意識(shí)。 但是我們幾乎不可能指望只要我們堆積了那么多元素， 這個(gè)現(xiàn)象（相變）就一定會(huì)發(fā)生。

至于回到那個(gè)未來人工智能曲線發(fā)展展望的話題， 我們可以看到， 這些不確定的因素都會(huì)使得這條發(fā)展曲線變得不可確定。 然而有一點(diǎn)是肯定的， 就是正在有越來越多非常聰明的人， 開始迅速的進(jìn)入到這個(gè)領(lǐng)域， 越來越多的投資也在進(jìn)來。 這說明， AI已經(jīng)是勢不可擋的稱為人類歷史的增長極， 即使有一些不確定性， 它卻不可能再進(jìn)入到一個(gè)停滯不前的低谷了， 我們也許不會(huì)一天兩天就接近終極算法， 但卻一定會(huì)在細(xì)分領(lǐng)域取得一個(gè)又一個(gè)突破。無論是視覺， 自然語言， 還是運(yùn)動(dòng)控制。

能否走向通用人工智能的確是人工智能未來發(fā)展最大的變數(shù)， 或許， 我們真正的沉下心來去和大腦取經(jīng)還是可以或多或少的幫助我們。 因?yàn)楸举|(zhì)上， 我們在人工智能的研究上所作的， 依然是在模擬人類大腦的奧秘。 我們越接近人類智慧的終極算法， 就越能得到更好的人工智能算法。