百度大腦導(dǎo)讀：

自然語言處理、語音識別、用戶畫像、無人駕駛……這些和深度神經(jīng)網(wǎng)絡(luò)（即深度學(xué)習(xí)）相關(guān)的技術(shù)在最近幾年突然火了起來，但深度學(xué)習(xí)并不是憑空冒出來的。它從最初的概念誕生，到現(xiàn)今備受技術(shù)和資本的青睞，歷經(jīng)了幾十年的起起伏伏。讀完這篇文章，你將弄清楚深度學(xué)習(xí)的前世今生。

這篇文章主要解讀的是美國《財(cái)富》雜志（Fortune）近期發(fā)布的一篇名為「為何深度學(xué)習(xí)將突然改變你的生活」（Why deep learning is suddenly changing your life）的文章。這篇文章翻譯成中文有上萬字，但我們將只用一張圖表和 10 分鐘向你拆解這篇長文，講述深度學(xué)習(xí)是如何成長為今天的樣子的。

神經(jīng)網(wǎng)絡(luò)最早的概念誕生于 20 世紀(jì) 50 年代，而一些關(guān)鍵的算法突破則是在 80 至 90 年代才出現(xiàn)，今天深度神經(jīng)網(wǎng)絡(luò)能夠得到廣泛應(yīng)用，得益于計(jì)算機(jī)硬件性能的大幅提升，以及海量數(shù)據(jù)的產(chǎn)生。

用百度首席科學(xué)家吳恩達(dá)的話來說，深度學(xué)習(xí)的進(jìn)展和計(jì)算能力的提高和數(shù)據(jù)的增長密不可分。通俗地講，我們可以把它類比于建造太空火箭：「你需要大功率火箭發(fā)動機(jī)，你也需要大量的燃料。如果你有許多燃料但只擁有小功率發(fā)動機(jī)，你的火箭大概無法飛離地面。如果你擁有大功率發(fā)動機(jī)但只有一點(diǎn)點(diǎn)燃料，你的火箭即使飛上天也無法進(jìn)入軌道?！?/span>

計(jì)算能力的提高相當(dāng)于發(fā)動機(jī)功率的提高，而數(shù)據(jù)就像是燃料。

◇

◇

上世紀(jì) 50 年代，神經(jīng)網(wǎng)絡(luò)的研究潮流才剛剛在計(jì)算機(jī)科學(xué)家們之間流行起來。

1958 年，在一項(xiàng)受美國海軍支持的項(xiàng)目中，康奈爾大學(xué)的心理學(xué)家 Frank Rosenblatt 搭建了神經(jīng)網(wǎng)絡(luò)的原型并給它取名為 Perceptron，它利用的是占據(jù)了整整一個房間大小的穿孔卡片計(jì)算機(jī)。經(jīng)過 50 次測驗(yàn)，Perceptron 能夠區(qū)分兩種不同的卡片，其中一種左側(cè)帶有記號，另一種右側(cè)帶有記號。

Perceptron 軟件結(jié)構(gòu)和神經(jīng)元類似，但和人腦神經(jīng)的多層結(jié)構(gòu)相比，只具有單層神經(jīng)元的 Perceptron 能力有限，于是人們開始研究如何開發(fā)多層神經(jīng)網(wǎng)絡(luò)，也就是我們現(xiàn)在所說的深度神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)先驅(qū) Geoffrey Hinton 舉了個例子：深度神經(jīng)網(wǎng)絡(luò)辨認(rèn)圖片里的一只鳥的過程。

它會先對輸入的像素進(jìn)行分析，如果其中的一些線條兩側(cè)亮度相差很大，它會判斷出這可能是鳥的輪廓，并把數(shù)據(jù)傳遞給下一層神經(jīng)網(wǎng)絡(luò)。后者繼續(xù)沿著線條去尋找一些和鳥類貼合的特征，比如線條轉(zhuǎn)折交匯處形成的角度是不是和鳥類的喙的尖角相似。如果得到確認(rèn)，數(shù)據(jù)會進(jìn)入下一層，神經(jīng)網(wǎng)絡(luò)尋找更加復(fù)雜的外型，比如同樣的線條有沒有大致地圍成一圈，形狀和鳥類頭部的相似性。再下一層，神經(jīng)網(wǎng)絡(luò)確定類似鳥嘴的形狀和頭部的形狀是不是以恰當(dāng)?shù)姆绞浇雍显谝黄穑绻堑脑捤陀邢喈?dāng)充分的證據(jù)來說明這是一只鳥的頭部了。

深度神經(jīng)網(wǎng)絡(luò)以類似的方式來對數(shù)據(jù)進(jìn)行分析，每一層神經(jīng)網(wǎng)絡(luò)都基于上一層極的判斷去分析更加復(fù)雜和抽象的特征，直到最高一層形成對整體形象的判斷。

在 Hinton 提出他的想法之前，60 年代末乃至整一個 70 年代，人們都懷疑深度神經(jīng)網(wǎng)絡(luò)的可行性，例如著名的人工智能科學(xué)家 Marvin Minsky。直到 Hinton 和其他科學(xué)家找到了訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)、糾正其錯誤的方法時，深度神經(jīng)網(wǎng)絡(luò)才重回人們的視野。

改變深度學(xué)習(xí)的這個關(guān)鍵過程就是，除了像前面描述到的那樣將信息層層推進(jìn)分析，如果最后得出的結(jié)果是不匹配，深度神經(jīng)網(wǎng)絡(luò)還需要把這一信息逐層返回給更低一級的類神經(jīng)元，以便它們調(diào)整激活來優(yōu)化最后的結(jié)果，這就是深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過程。

1986 年，Hinton 和他的兩位同事發(fā)表了一篇論文，其中他們提供了一種算法來解決這種錯誤修正難題，深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力的質(zhì)疑得到了解決，神經(jīng)網(wǎng)絡(luò)的第二波潮流由此開始。

之后直到 20 世紀(jì) 90 年代中期，圖像識別、手寫數(shù)字辨識、自然語言處理等系列技術(shù)都取得了奠基性的成果，這些技術(shù)成果至今仍然在廣泛應(yīng)用。

20 世紀(jì)最后的幾年里，受限于當(dāng)時的計(jì)算能力，深度學(xué)習(xí)還不是機(jī)器學(xué)習(xí)中最高效的工具，這種有點(diǎn)超前的技術(shù)不可避免地再次遇冷。1997 年，IBM 著名的人工智能深藍(lán)打敗了當(dāng)時的國際象棋冠軍 Garry Kasparov，但它采用的并非深度神經(jīng)網(wǎng)絡(luò)技術(shù)。

直到 2007 年，斯坦福大學(xué)教授李飛飛成立了 ImageNet 并開始組建一個有標(biāo)記圖片的數(shù)據(jù)庫，兩年后該數(shù)據(jù)庫組建完成，1400 萬張經(jīng)過標(biāo)記的圖片免費(fèi)開放給機(jī)器學(xué)習(xí)研究者使用。此時硬件的計(jì)算性能也已提高到了足夠處理這些數(shù)據(jù)的程度，火箭需要的發(fā)動機(jī)和燃料都有了，是時候試飛了。

這里我們需要解釋一點(diǎn)，為什么 ImageNet 出現(xiàn)之前互聯(lián)網(wǎng)上大量的開放數(shù)據(jù)不能被應(yīng)用于深度學(xué)習(xí)？這也是目前深度學(xué)習(xí)面臨的局限，大部分深度學(xué)習(xí)創(chuàng)造的價(jià)值仍然來自于監(jiān)督學(xué)習(xí)技術(shù)。監(jiān)督學(xué)習(xí)技術(shù)需要基于系統(tǒng)曾經(jīng)接受過的其他實(shí)例輸入，來學(xué)習(xí)對東西進(jìn)行分類或?qū)Y(jié)果進(jìn)行預(yù)測。

例如前面提到的，給你一張圖片，請你把鳥從圖片里找出來?；蛘呦窠o你一封郵件，請你判斷它是不是垃圾郵件。在監(jiān)督學(xué)習(xí)的過程中，深度神經(jīng)網(wǎng)絡(luò)先前接受的這些輸入信息需要有一個標(biāo)記信息，它相當(dāng)于我們做訓(xùn)練題時的參考答案，深度神經(jīng)網(wǎng)絡(luò)把自己的分析結(jié)果和它進(jìn)行對比，從而優(yōu)化分析過程和糾正錯誤。如果輸入的信息中沒有關(guān)于實(shí)際上圖片里有沒有鳥的標(biāo)記，或者關(guān)于這封郵件實(shí)際上是不是垃圾郵件的標(biāo)記，它就無從學(xué)習(xí)。這就像我們做完練習(xí)題卻并不知道自己答得對不對，這對于我們下一次碰到類似的題目大概毫無助益。因此，ImageNet 這樣「有參考答案的習(xí)題」就顯得十分關(guān)鍵。

當(dāng)然我們還知道另一種深度學(xué)習(xí)技術(shù)：無監(jiān)督學(xué)習(xí)。

2012 年 6 月，谷歌推出的「貓實(shí)驗(yàn)」項(xiàng)目就是對無監(jiān)督學(xué)習(xí)的一次探索。在「貓實(shí)驗(yàn)」中，谷歌大腦開發(fā)的一個大規(guī)模神經(jīng)網(wǎng)絡(luò)憑借 1000 萬張來自 YouTube 的未標(biāo)記圖片學(xué)會了分辨貓。吳恩達(dá)當(dāng)時正是谷歌大腦的負(fù)責(zé)人，他當(dāng)時發(fā)現(xiàn)經(jīng)過無監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)對人臉也有辨識，但也有一些神經(jīng)網(wǎng)絡(luò)辨識出來的特征他們沒能找到對應(yīng)的詞匯，無監(jiān)督學(xué)習(xí)方面的算法在很大程度上仍然處于搖籃期。

隨后的幾年里深度神經(jīng)網(wǎng)絡(luò)技術(shù)被運(yùn)用到谷歌的語音識別、圖片搜索乃至前一陣子的谷歌中英文互譯當(dāng)中。它最耀眼的時刻仍然是配備神經(jīng)網(wǎng)絡(luò)的 AlphaGo 擊敗韓國世界級棋手李世石的那一刻。

而在商用方面，能夠?qū)⑸疃葘W(xué)習(xí)進(jìn)行商業(yè)應(yīng)用的仍然是幾家掌握了海量數(shù)據(jù)的公司，例如百度、Google、微軟和 Facebook。目前百度大腦已經(jīng)將深度神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用到語音識別、翻譯、圖片搜索以及百度無人車等領(lǐng)域中，并且取得了一些驚人的成就。

以語音識別為例，來自斯坦福、百度以及華盛頓大學(xué)的數(shù)據(jù)科學(xué)家們在今年進(jìn)行了一項(xiàng)研究，對語音識別輸入效率和打字輸入效率做了對比，該研究采用的深度學(xué)習(xí)技術(shù)來自百度深度網(wǎng)絡(luò)語音識別系統(tǒng) Deep Speech 2，其對中文（普通話）和英文的語音識別輸入速度比打字快 3 倍左右，錯誤率則明顯少于后者。參與其中的一位斯坦福計(jì)算機(jī)科學(xué)博士表示，盡管他們有過大概的預(yù)期，但實(shí)驗(yàn)結(jié)果還是讓人吃驚。

「在過去，許多標(biāo)普 500 指數(shù)公司的 CEO 希望自己能早點(diǎn)意識到互聯(lián)網(wǎng)戰(zhàn)略的重要性。我想從現(xiàn)在開始的今后 5 年也會有一些標(biāo)普 500 指數(shù)公司的 CEO 后悔沒有早點(diǎn)思考自己的 AI 戰(zhàn)略?！惯@是吳恩達(dá)對人工智能戰(zhàn)略地位的概括，人工智能技術(shù)的重要性已不言而喻，而深度學(xué)習(xí)也許是其中最值得期待的一項(xiàng)。