王培 （美國(guó)天普大學(xué)計(jì)算機(jī)與信息科學(xué)系）

圍棋大戰(zhàn)AlphaGo四比一勝了李世石，令人驚嘆技術(shù)進(jìn)展的程度。但另一方面，機(jī)器輸?shù)哪潜P(pán)引起了各種猜疑，連“故意放水”的陰謀論都出來(lái)了。也有了解機(jī)器學(xué)習(xí)的人在小聲嘀咕：莫不是李世石那“神之一手”正好是AlphaGo的對(duì)抗樣本？

這幾年深度學(xué)習(xí)紅得發(fā)紫，但并非無(wú)懈可擊，“對(duì)抗樣本”就是一個(gè)說(shuō)不清的“隱疾”。有圖有真相：各位先看看下面的圖里都是什么。

這類(lèi)圖片是有意造出來(lái)愚弄學(xué)習(xí)程序的，它們被稱(chēng)為“對(duì)抗樣本”

揭曉謎底之前先介紹出處。深度學(xué)習(xí)最成功的應(yīng)用之一就是圖片識(shí)別，即說(shuō)出一張圖片描繪的是什么。深度神經(jīng)網(wǎng)絡(luò)在經(jīng)過(guò)一百多萬(wàn)張樣本圖片的訓(xùn)練后，已經(jīng)可以正確識(shí)別大部分圖片中的事物。但上面一排圖片依次被識(shí)別為王企鵝、海星、棒球、電吉他，而下面一排照片依次被識(shí)別為火車(chē)車(chē)廂、遙控器、孔雀、非洲灰鸚鵡。這項(xiàng)研究的詳情見(jiàn)參考文獻(xiàn)[1]。由于這類(lèi)圖片是有意造出來(lái)愚弄學(xué)習(xí)程序的，它們被稱(chēng)為“對(duì)抗樣本”。對(duì)抗樣本的大量存在已被很多研究所確認(rèn)，但對(duì)學(xué)習(xí)程序中了圈套的原因卻仍是眾說(shuō)紛紜。下面是我個(gè)人對(duì)這個(gè)問(wèn)題的分析。

湊出來(lái)的計(jì)算機(jī)“直覺(jué)”

在《計(jì)算機(jī)會(huì)有超人的智能嗎？》一文中，我說(shuō)到機(jī)器學(xué)習(xí)通常把“學(xué)習(xí)”看作以“計(jì)算”為途徑和目標(biāo)。從計(jì)算的觀點(diǎn)看，用計(jì)算機(jī)解決一個(gè)問(wèn)題就是實(shí)現(xiàn)一個(gè)從輸入到輸出的函數(shù)。以數(shù)值函數(shù)為例，如果已知從輸入X,Y到輸出Z的關(guān)系是 Z = X²–Y，那么當(dāng)輸入是(2,3)時(shí)，輸出是1；輸入是(4,7)時(shí)，輸出是9；輸入是(3,5)時(shí)，輸出是4。只要把輸入轉(zhuǎn)化成輸出的公式或算法是已知的，總能編一個(gè)程序完成這個(gè)計(jì)算。這就是為什么說(shuō)“只要人能說(shuō)清楚解法，計(jì)算機(jī)就能解決問(wèn)題”。而人工智能可以說(shuō)是研究在說(shuō)不清解法時(shí)怎么用計(jì)算機(jī)解決問(wèn)題。機(jī)器學(xué)習(xí)會(huì)把上述問(wèn)題看成“函數(shù)擬合”，就是說(shuō)一般性公式是不知道的，只知道具體“樣本”f(2,3) = 1, f(4,7) = 9 等等，而需要據(jù)此估算f(3,5)等于什么。

在人工智能歷史上，曾有人試圖用“猜函數(shù)”的辦法解決此類(lèi)問(wèn)題，并聲稱(chēng)重新發(fā)現(xiàn)了歐姆定律和開(kāi)普勒定律等等。這條路的問(wèn)題是滿足條件的函數(shù)很多，而且樣本常常包含誤差，所以擬合程度太高也未必是好事。現(xiàn)在機(jī)器學(xué)習(xí)的主流辦法不是“猜函數(shù)”，而是“湊函數(shù)”，就是說(shuō)用一個(gè)一般性的方法根據(jù)樣本造一個(gè)近似函數(shù)出來(lái)。既然目的是用這個(gè)函數(shù)來(lái)處理像f(3,5)這樣的新問(wèn)題，f本身是否能寫(xiě)成一個(gè)簡(jiǎn)單的公式有什么關(guān)系呢？函數(shù)的建立方法是把樣本推廣到類(lèi)似輸入。既然輸入(3,5)作為一個(gè)點(diǎn)正好在(2,3)和(4,7)中間，不妨認(rèn)為f(3,5)是f(2,3)和f(4,7)平均值5。因?yàn)椤罢_公式”是不存在的，這個(gè)預(yù)測(cè)完全合理。至于是否符合事實(shí)，則要實(shí)際檢驗(yàn)后才知道了。

人工神經(jīng)網(wǎng)絡(luò)就是一個(gè)通用的“函數(shù)擬合器”。很多人顧名思義地認(rèn)為人工神經(jīng)網(wǎng)絡(luò)就是“像人腦一樣工作”，其實(shí)它的設(shè)計(jì)只是從人腦得到些靈感，而其真正的吸引力來(lái)自其可塑性，即可以通過(guò)調(diào)整內(nèi)部參數(shù)變成各種各樣的函數(shù)。一開(kāi)始參數(shù)是隨便定的，所以可能得到 f(2,3) = 0。這時(shí)樣本所提供的正確答案1會(huì)被學(xué)習(xí)算法用來(lái)調(diào)整網(wǎng)絡(luò)參數(shù)以達(dá)到希望的輸出（不一定正好是1，但足夠接近）。下面再用同樣的辦法訓(xùn)練f(4,7) = 9。這里的麻煩是后面的樣本所引起的參數(shù)調(diào)整會(huì)破壞對(duì)前面樣本的處理結(jié)果，所以當(dāng)所有樣本處理完成后還必須回頭重來(lái)。這個(gè)“訓(xùn)練”過(guò)程一般要重復(fù)很多遍才能讓同一組網(wǎng)絡(luò)參數(shù)同時(shí)（盡可能）滿足所有樣本的要求。

了解這種訓(xùn)練過(guò)程，就可以看到AlphaGo實(shí)際上是不能像人那樣通過(guò)復(fù)盤(pán)來(lái)總結(jié)前一盤(pán)棋的經(jīng)驗(yàn)教訓(xùn)，并馬上用在后一盤(pán)棋中的，而是需要把很多（甚至所有）以前的樣本再整個(gè)過(guò)一遍（甚至多遍）以保證從這盤(pán)棋中學(xué)到的知識(shí)不會(huì)破壞以前的成果。如果說(shuō)人類(lèi)學(xué)習(xí)一般是“增量式的局部修改”（哪里錯(cuò)了改哪里），那深度學(xué)習(xí)就是“總量式的全局修改”（用樣本總體定全部參數(shù)）。 

深度學(xué)習(xí)能許諾DeepMind進(jìn)軍醫(yī)療的未來(lái)嗎？

一個(gè)人工神經(jīng)網(wǎng)絡(luò)通過(guò)訓(xùn)練得到的知識(shí)是分布在其所有網(wǎng)絡(luò)參數(shù)之中的，這也就導(dǎo)致了其結(jié)果的難以理解。AlphaGo在某一個(gè)時(shí)刻為什么走某一步，這是其系統(tǒng)中成千上萬(wàn)個(gè)參數(shù)共同決定的，而這些參數(shù)的值是系統(tǒng)全部訓(xùn)練歷史的產(chǎn)物。即使我們真能重現(xiàn)它的完整歷史，也往往無(wú)法把它的某個(gè)決定的“原因”用我們能理解的概念來(lái)描述清楚。有種觀點(diǎn)認(rèn)為這說(shuō)明機(jī)器成功地?fù)碛辛恕爸庇X(jué)”，但這事還需要從兩方面看。和傳統(tǒng)計(jì)算系統(tǒng)相比，能從大量樣本中總結(jié)出某種規(guī)律自然是進(jìn)步，但完全說(shuō)不清這種規(guī)律不能說(shuō)是個(gè)優(yōu)點(diǎn)。人的許多信念由于來(lái)源復(fù)雜以至于我們自己也說(shuō)不清，因此以“直覺(jué)”稱(chēng)之，但并非所有信念都是這樣來(lái)路不明的。

深度學(xué)習(xí)，以至于整個(gè)主流機(jī)器學(xué)習(xí)，在很大程度上接受這種把學(xué)習(xí)系統(tǒng)看成個(gè)“黑箱”的做法，美其名曰“端到端”學(xué)習(xí)，意思是說(shuō)“我只要實(shí)現(xiàn)你要的函數(shù)就行了，你管我怎么做的呢”。這種辦法自然有它的優(yōu)點(diǎn)（比較省心），但一旦出了問(wèn)題就很難說(shuō)清到底是怎么回事，也就更難做相應(yīng)的改進(jìn)了。AlphaGo的昏招和上面的對(duì)抗樣本都是這方面的例子。

那么這個(gè)問(wèn)題要不要緊呢？這就要看應(yīng)用領(lǐng)域了。對(duì)圍棋來(lái)說(shuō)，我覺(jué)得程序超過(guò)人類(lèi)已成定局，個(gè)別比賽的勝負(fù)已經(jīng)無(wú)關(guān)大勢(shì)了。即使程序確有類(lèi)似于對(duì)抗樣本的死穴存在，也不是棋手在對(duì)局時(shí)容易利用的，而可能是得靠運(yùn)氣來(lái)碰。現(xiàn)在發(fā)現(xiàn)的對(duì)抗樣本，如參考文獻(xiàn)[1]中展示的，都是用另一個(gè)學(xué)習(xí)技術(shù)“遺傳算法”經(jīng)過(guò)大量計(jì)算造出來(lái)的。這個(gè)辦法能否用于圍棋還是個(gè)問(wèn)題。另一方面，程序的棋路難以理解或模仿，這對(duì)圍棋界自然是個(gè)遺憾，但不影響它的勝率。所以這些問(wèn)題對(duì)圍棋程序都不是致命的。

現(xiàn)在AlphaGo的開(kāi)發(fā)者DeepMind號(hào)稱(chēng)要進(jìn)軍醫(yī)療領(lǐng)域，那可就完全是另一回事了。如果一個(gè)機(jī)器診斷系統(tǒng)在收集了和你有關(guān)的信息后直接就給你開(kāi)藥，而其全部理由就是“這是我的直覺(jué)”，你能接受嗎？當(dāng)然，這個(gè)系統(tǒng)以往的成功率可能高達(dá)95％，盡管它也曾經(jīng)給頭疼的病人開(kāi)過(guò)腳氣藥。但問(wèn)題是你怎么知道自己不是那5％呢？更何況基于大數(shù)據(jù)的統(tǒng)計(jì)性診斷對(duì)常見(jiàn)病、多發(fā)病會(huì)很有效，但對(duì)特殊病例的處理能力就沒(méi)有保證了，因此成功率大概也到不了95％。由于這個(gè)問(wèn)題事關(guān)機(jī)器學(xué)習(xí)的基本假設(shè)和框架，因此不是修改算法細(xì)節(jié)所能解決的。DeepMind可能要另辟蹊徑才有希望。

總的說(shuō)來(lái)，以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)技術(shù)對(duì)某一類(lèi)問(wèn)題是很有效的，前提是這類(lèi)問(wèn)題可以被看成一個(gè)確定的輸入輸出關(guān)系，而且可以收集到大量有代表性的樣本。此外，要有足夠的訓(xùn)練時(shí)間，而且可以容忍一定量的錯(cuò)誤結(jié)果和解釋的缺位。如果在某個(gè)問(wèn)題上樣本不足或者只能逐步收集，答復(fù)有時(shí)間要求，中間結(jié)果要可理解并可直接修改，那么這項(xiàng)技術(shù)就不足以解決問(wèn)題。

“黑箱”技術(shù)之外的天地

目前業(yè)界對(duì)深度學(xué)習(xí)的局限性認(rèn)識(shí)嚴(yán)重不足，而AlphaGo的勝利更在大眾中造成了深度學(xué)習(xí)可以解決各種學(xué)習(xí)問(wèn)題的假象。實(shí)際上，學(xué)界這兩年對(duì)深度學(xué)習(xí)的態(tài)度已經(jīng)從興奮追捧轉(zhuǎn)為冷靜審視，而深度學(xué)習(xí)的領(lǐng)軍人物也紛紛出面否認(rèn)了“這項(xiàng)技術(shù)已解決了人工智能核心問(wèn)題”的說(shuō)法。

看到這里，有些讀者可能會(huì)準(zhǔn)備寫(xiě)如下評(píng)論：“我早就說(shuō)了嘛，人工智能不過(guò)是一些程序，怎么可能真能像人那樣學(xué)習(xí)呢！”—對(duì)不起，你還真是說(shuō)早了。上面所說(shuō)的問(wèn)題存在于深度學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)之中，但有關(guān)結(jié)論不能推廣到整個(gè)人工智能領(lǐng)域，因?yàn)椴皇撬袑W(xué)習(xí)技術(shù)都是做函數(shù)擬合的。

一個(gè)問(wèn)題的解決過(guò)程總是由一系列步驟組成的。傳統(tǒng)的計(jì)算系統(tǒng)是讓設(shè)計(jì)者既指定個(gè)別步驟又指定整個(gè)過(guò)程，因此保證了解決的可靠性和可理解性，但這種系統(tǒng)毫無(wú)靈活性。在很大程度上，人工智能的基本目標(biāo)就是給系統(tǒng)靈活性和適應(yīng)性。當(dāng)然，設(shè)計(jì)者也不可能什么都不限定。函數(shù)擬合的辦法可以說(shuō)是“限定兩端，放開(kāi)中間”，即以訓(xùn)練樣本的形式約束系統(tǒng)的輸入輸出關(guān)系，但容許學(xué)習(xí)算法相對(duì)自由地選擇實(shí)現(xiàn)這種關(guān)系的中間步驟和對(duì)非樣本的處理結(jié)果。而另一種可能性是恰恰相反，可以說(shuō)是“限定步驟，放開(kāi)過(guò)程”，而我自己的工作就屬于這一類(lèi)。

在《計(jì)算機(jī)會(huì)有超人的智能嗎？》一文中，我提到了我設(shè)計(jì)的“納思”系統(tǒng)(詳見(jiàn)參考文獻(xiàn)[2])。納思是個(gè)推理系統(tǒng)，其中每個(gè)基本步驟都遵循一個(gè)廣義推理規(guī)則，包括演繹、歸納、歸因、例示、修正、選擇、比較、類(lèi)推、合并、分解、變換、派生、決策等等。這些推理規(guī)則同時(shí)也實(shí)現(xiàn)著學(xué)習(xí)的功能，而且可以靈活地彼此銜接以完成復(fù)雜的任務(wù)。這里的基本假設(shè)是任意思維過(guò)程都可以被分解成這些基本步驟，而“學(xué)習(xí)”就是系統(tǒng)使用這些規(guī)則以經(jīng)驗(yàn)為原材料建造和調(diào)整信念和概念體系的“自組織”過(guò)程。

把“學(xué)習(xí)”理解成“信念和概念的自組織”比理解成“函數(shù)擬合”更接近人的學(xué)習(xí)過(guò)程，同時(shí)也避免了目前機(jī)器學(xué)習(xí)中的很多問(wèn)題。比如說(shuō)，由于系統(tǒng)的每一步都遵循某一條規(guī)則，其結(jié)果就具有較好的可解釋性。人工神經(jīng)網(wǎng)絡(luò)的結(jié)果常常只有數(shù)學(xué)意義下的解釋?zhuān)础斑@個(gè)結(jié)論是由現(xiàn)有全部網(wǎng)絡(luò)參數(shù)決定的”，而納思的結(jié)論一般有概念層面上的邏輯解釋?zhuān)础斑@個(gè)結(jié)論是從某某前提中被某規(guī)則推出來(lái)的”。盡管如果一個(gè)信念的來(lái)源極其復(fù)雜，它也會(huì)被說(shuō)成是“直覺(jué)”。

設(shè)計(jì)納思這樣的學(xué)習(xí)系統(tǒng)的難點(diǎn)是確定其中規(guī)則的合理性和完備性，以及在運(yùn)用這些規(guī)則時(shí)平衡靈活性和確定性。這些問(wèn)題我會(huì)在以后逐步介紹?，F(xiàn)在要說(shuō)的是既然要讓系統(tǒng)自己學(xué)習(xí)，那它就難免犯錯(cuò)，但這不能被用作對(duì)批評(píng)的擋箭牌。這里的關(guān)鍵問(wèn)題是這些錯(cuò)誤是否可以理解，以及系統(tǒng)能否從錯(cuò)誤中學(xué)習(xí)以避免重蹈覆轍。

對(duì)抗樣本之所以是一個(gè)大問(wèn)題，不僅僅是由于這些樣本導(dǎo)致了系統(tǒng)的誤判（人在圖片識(shí)別時(shí)也會(huì)誤判），而是由于它們揭示了機(jī)器學(xué)習(xí)在“湊函數(shù)”的過(guò)程中所生成的中間結(jié)果和人感知過(guò)程中的逐層抽象結(jié)果有根本性不同。人在識(shí)別“企鵝”、“孔雀”、“鸚鵡”時(shí)的中間結(jié)果一般都包括對(duì)其頭部、身體、翅膀等鳥(niǎo)類(lèi)普遍特征的識(shí)別，而機(jī)器學(xué)習(xí)算法所抽取的特征則一般沒(méi)有獨(dú)立意義，只是對(duì)整個(gè)“端到端”擬合過(guò)程有貢獻(xiàn)（提高正確率、收斂速度等等）。因此，如果一個(gè)樣本和訓(xùn)練樣本很不一樣，這些中間結(jié)果有可能導(dǎo)致莫名其妙的輸出。系統(tǒng)很難有效地從這種錯(cuò)誤中吸取教訓(xùn)，因?yàn)檎l(shuí)都沒(méi)法說(shuō)它是哪一步錯(cuò)了。要避免這種問(wèn)題，僅僅限定輸入輸出關(guān)系是不夠的，中間結(jié)果也必須有不完全依賴(lài)于網(wǎng)絡(luò)參數(shù)的意義，因此不能只考慮學(xué)習(xí)算法的數(shù)學(xué)特征而不顧其認(rèn)知功能，而這正是邏輯框架優(yōu)于黑箱模型之處。

最后再說(shuō)說(shuō)在圍棋大戰(zhàn)的評(píng)論中暴露出的問(wèn)題。如前面提到的，整體上看，“深度學(xué)習(xí)”被高估了，但“人工智能”卻被低估了。比如說(shuō)有些評(píng)論半開(kāi)玩笑地說(shuō)：“能贏棋時(shí)反而成心輸?shù)舨潘阌兄悄?，而這是計(jì)算機(jī)永遠(yuǎn)做不到的”。殊不知盡管AlphaGo的確不會(huì)這樣做，但這一功能在技術(shù)上根本不是問(wèn)題。一個(gè)通用智能系統(tǒng)中同時(shí)會(huì)存在著多個(gè)目標(biāo)，而系統(tǒng)在采取某個(gè)行動(dòng)前必須權(quán)衡該行動(dòng)對(duì)各個(gè)有關(guān)目標(biāo)的影響。在這種情況下，總體效果最好的行動(dòng)可能犧牲某些次要目標(biāo)。如果這樣一個(gè)系統(tǒng)覺(jué)得成心輸?shù)粢槐P(pán)能贏的棋可以實(shí)現(xiàn)一個(gè)更重要的目標(biāo)（比如提高后面比賽的收視率），那它完全可能這么做。這種功能在包括納思在內(nèi)的通用智能系統(tǒng)中早已實(shí)現(xiàn)了，只不過(guò)尚未出現(xiàn)在應(yīng)用技術(shù)中而已(這里不討論“計(jì)算機(jī)該不該說(shuō)謊”等相關(guān)問(wèn)題)。既然這次圍棋大戰(zhàn)的結(jié)果出乎了絕大多數(shù)人的預(yù)料，希望尚存學(xué)習(xí)能力的人能以此為鑒，以后不要再僅僅因?yàn)槟悴恢涝趺醋層?jì)算機(jī)做某事就斷言說(shuō)那事是不可能做到的。