人工智能讀書筆記一

丹儀 2023-04-12 發(fā)布于湖南

展開全文

我準備寫一系列關于人工智能（AI，Artificial Intelligence）的讀書筆記，源自各種資料的拼湊和少量腦補，不保證所有主張的正確性，請自行斟酌。第一篇是導讀，從阿法狗到人工智能，AI的發(fā)展歷史和基本三要素，深度學習的概念，最后是AI芯片的定義與分類。

阿法狗與人工智能

2016年3月9日至15日，AlphaGo在首爾進行的五番棋比賽中以總比分4比1戰(zhàn)勝李世石，人工智能在星光熠耀的舞臺上首次登場。至今還記得聽聞李世石落敗后，我作為一個圍棋蘊含傳統(tǒng)文化與哲學精神的愛好者與信眾，世界觀破碎的聲音。當時的反應是絕望與恐慌，如同「終結者」的時代即將到來；直到獨自在一片沉寂奧森奔跑了32公里，才慢慢找回真實的、自我的感覺。

那么，什么是人工智能呢？人類特有的形聲聞味觸五感，給予了人感受萬物萬事的能力，計算機能實現(xiàn)對人的視覺、聽覺、嗅覺、味覺、觸覺的模擬感知、思維決策和行為控制么？我認為，就算人工智能系統(tǒng)通過各種技術、模擬具備了五感，也很難具有真正意義上的意識，即靈魂，它們永遠不會有私人的、像人類一樣的內(nèi)心思想。

AI機器人的外觀可以充滿智慧與流線感。

也可以更現(xiàn)實、更具有生活氣息。

或者光怪陸離，盡顯金屬范。

拋開哲學，簡單點，僅從科學和工程角度去理解，人工智能是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統(tǒng)的一門新的技術科學，它是計算機科學的一個分支。該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統(tǒng)等。

AlphaGo 由 Google DeepMind 團隊開發(fā)，其程序綜合了神經(jīng)網(wǎng)絡和蒙特卡羅樹搜索，具有自我學習能力。初代AlphaGo是通過搜集大量圍棋對弈數(shù)據(jù)和名人棋譜，學習并模仿人類下棋，在達到一定熟練程度后，通過自我對弈來提升棋力。它使用了巨大的計算資源，硬件在AlphaGo的性能表現(xiàn)上扮演了關鍵角色。

AlphaGo有多種配置，不同配置對它的性能有巨大影響，最低配置使用了48個CPU和1個GPU；最高配置是分布式版本的AlphaGo，根據(jù)DeepMind員工發(fā)表在2016年1月Nature期刊的論文，分布式版本（AlphaGo Distributed）使用了1202個CPU和176個GPU，同時可以有40個搜素線程。

擊敗李世石的AlphaGo Lee 版本，則是由上述分布式版本訓練，4 個TPU v1推理的。后來升級的 AlphaGo Master 版以及自我學習的 AlphaGo Zero 版，則是由 TPU v2 Pod 訓練。

人工智能的三次浪潮

1956年夏季，以麥卡賽、明斯基、羅切斯特和申農(nóng)等為首的一批有遠見卓識的年輕科學家在一起聚會，共同研究和探討用機器模擬智能的一系列有關問題，并首次提出了「人工智能」這一術語。因此1956年被稱為AI元年，從那以后，人工智能研究幾起幾落，迄今已經(jīng)是第三波浪潮了。

簡要回顧人工智能的發(fā)展歷史，我們會發(fā)現(xiàn)它主要由3個方面相互交織發(fā)展：符號主義、連接主義和行為主義。由這3個方面構成的人工智能設計模型如下圖。

第一波浪潮是20世紀50年代到60年代，符號主義，其核心是用數(shù)學和物理學中的邏輯符號來表達思維的形成，通過大量的「if-then」規(guī)則定義，產(chǎn)生像人一樣的智能，這是一個自上而下的過程，包括專家系統(tǒng)、知識工程等。

第二波浪潮是20世紀80年代到90年代，連接主義，其核心是神經(jīng)元網(wǎng)絡與深度學習，主張智能來自神經(jīng)元之間的連接，它讓計算機模擬人類大腦中的神經(jīng)網(wǎng)絡及其連接機制，把人的神經(jīng)系統(tǒng)的模型用計算的方式呈現(xiàn)，用它來仿造智能。這是一個自下而上的過程，包括人工神經(jīng)網(wǎng)絡等。

第三波浪潮就是2006年至今，行為主義，指的是基于感知行為的控制系統(tǒng)，使每個基本單元實現(xiàn)自我優(yōu)化和適應，這也是一個自下而上的過程，其核心是技術的融合，軟硬件的融合。把一些技術、神經(jīng)元網(wǎng)絡和統(tǒng)計的方法結合在一起，深度學習+大規(guī)模計算+大數(shù)據(jù)=人工智能。

人工智能最初采用的方法是專家編制規(guī)則，教機器人認字、語音識別，但是人們沒法總結提煉出人類視聽功能中的規(guī)律，因此在機器學習的轉化上效果并不好，結果事與愿違，人工智能也在殘酷的現(xiàn)實中走向下坡。

由于人為指導這條路行不通，人們開始另辟蹊徑，把目光投向了基于大量數(shù)據(jù)的統(tǒng)計學方法，于是人工智能在人臉識別等一些較簡單的問題上取得了重大進展，在語音識別上也實現(xiàn)了基本可用，初見成效。然而基于大數(shù)據(jù)的統(tǒng)計學方法很快遇到了瓶頸，因為單純依靠數(shù)據(jù)積累并不能無限地提高準確率，從「基本可用」到「實用」之間出現(xiàn)了一道難以逾越的鴻溝，十幾年都沒能跨過，人工智能再次沒落。

直到2006年，多倫多大學 Geoffrey Hinton 教授在《科學》上發(fā)表一篇關于深度學習的文章，人們又重新看到了人工智能的希望。

隨著GPU（圖形處理器）的廣泛使用，計算機的并行處理速度大幅加快、成本更低、功能更強大，實際存儲容量無限拓展，可以生成大規(guī)模的數(shù)據(jù)，包括圖片、文本和地圖數(shù)據(jù)信息等，人工智能迎來了新的生機。

人工智能三要素

人工智能三要素：算法、算力和大數(shù)據(jù)，缺一不可，都是人工智能取得如此成就的必備條件。按重要程度來說：

第一是數(shù)據(jù)。人類要獲取一定的技能都必須經(jīng)過不斷地訓練，且有熟能生巧之說。AI也是如此，根基是訓練，只有經(jīng)過大量的訓練，神經(jīng)網(wǎng)絡才能總結出規(guī)律，應用到新的樣本上。只有大量的數(shù)據(jù)，而且能覆蓋各種可能的場景，才可以得到一個表現(xiàn)良好的模型，看起來更智能。

第二是算力。有了數(shù)據(jù)之后，需要進行訓練，不斷地訓練。深度學習中有三個概念叫Epoch, Batch, Iteration，只把訓練集從頭到尾訓練一遍網(wǎng)絡是學不好的，需要把訓練集翻過來、調過去，訓練很多輪。訓練和推理需要強大算力的支撐。

第三是算法，神經(jīng)網(wǎng)絡算法和深度學習是目前最主流的人工智能算法。某種程度上來說算法是獲取成本最低的，現(xiàn)在有很多paper，開源的網(wǎng)絡代碼，各種AutoML自動化手段，創(chuàng)業(yè)公司比較容易切入；算力需要芯片支撐，芯片行業(yè)是一個贏者通吃的市場，有資金、技術和人才三大壁壘，更需要一個行業(yè)的生態(tài)鏈來孕育成長。

深度學習

自2006年以來，機器學習領域，取得了突破性的進展。這個算法就是深度學習（Deep Learning）。深度學習是一個復雜的機器學習算法，在語音和圖像識別方面取得的效果，遠遠超過先前相關技術。

深度學習算法分「訓練」和「推理」兩個過程。簡單來講，人工智能需要通過以大數(shù)據(jù)為基礎，通過「訓練」得到各種參數(shù)（也就是模型），然后把模型傳遞給「推理」部分，得到最終結果。

神經(jīng)網(wǎng)絡分為前向計算（包括矩陣相乘、卷積、循環(huán)層）和后向更新（主要是梯度運算）兩類，「訓練」是兩者兼而有之，「推理」主要是「前向計算」，都包含大量并行運算。一般來說，「訓練+推理」在云端進行，終端人工智能硬件只負責「推理」。

人工智能芯片

個人淺見，現(xiàn)階段的人工智能行業(yè)與十年前盛極一時的游戲行業(yè)，本質是一樣的，都是計算機基于數(shù)據(jù)，對圖像與聲音的計算與展示。

這其中，視覺信息的結構化是人工智能最重要的方面，而數(shù)字圖像處理是視覺信息結構化的基本技術。子曰：「工欲善其事，必先利其器」，作為一個AI芯片行業(yè)的產(chǎn)品與方案人，還是先從人工智能芯片開始講吧。有句話說得好：芯片承載算法，是競爭的制高點。

由于AI所需的深度學習需要很高的并行計算、浮點計算以及矩陣運算能力，基于CPU的傳統(tǒng)計算架構無法充分滿足人工智能高性能并行計算(HPC)的需求，因此需要發(fā)展適合AI架構的專屬芯片。目前處理器芯片面向人工智能硬件優(yōu)化升級有兩種發(fā)展路徑：

1）延續(xù)傳統(tǒng)計算架構，加速硬件計算能力：以GPU、FPGA、ASIC等專屬芯片為輔，配合CPU的控制，專門進行AI相關的各種運算。

通用芯片GPU：GPU由于更適合執(zhí)行復雜的數(shù)學和幾何計算(尤其是并行運算)，剛好與包含大量并行運算的 AI 深度學習算法相匹配，成為人工智能硬件首選，在云端和終端各種場景均率先落地。目前在云端作為AI 訓練的主力芯片；在終端的安防、汽車等領域，GPU也率先落地，是目前應用范圍最廣、靈活度最高的AI硬件。

半定制化芯片F(xiàn)PGA：算法未定型前的最佳選擇。FPGA（Field-Programmable Gate Array，現(xiàn)場可編程門陣列）是一種用戶可根據(jù)自身需求進行重復編程的萬能芯片。編程完畢后功能相當于ASIC(專用集成電路)，具備效率高、功耗低的特點，但同時由于要保證編程的靈活性，電路上會有大量冗余，因此成本上不能像ASIC做到最優(yōu)，并且工作頻率不能太高(一般主頻低于500MHz)。FPGA相比GPU具有低功耗優(yōu)勢，同時相比ASIC具有開發(fā)周期快，更加靈活編程等特點，是效率和靈活性的較好折衷，在算法未定型之前具較大優(yōu)勢。在現(xiàn)階段云端數(shù)據(jù)中心業(yè)務中，F(xiàn)PGA以其靈活性和可深度優(yōu)化的特點，有望繼GPU之后在該市場爆發(fā)；在目前的終端智能安防領域，目前也有廠商采用FPGA方案實現(xiàn)AI硬件加速。

全定制化芯片ASIC：Application Specific Integrated Circuit，專用集成電路，指專門為AI應用設計、專屬架構的處理器芯片。近年來涌現(xiàn)的類似TPU、NPU、VPU、BPU等令人眼花繚亂的各種芯片，本質上都屬于ASIC。無論是從性能、面積、功耗等各方面，AISC都優(yōu)于GPU和FPGA，但在AI算法尚處于蓬勃發(fā)展、快速迭代的今天，ASIC存在開發(fā)周期較長、需要底層硬件編程、靈活性較低等劣勢，因此發(fā)展速度不及GPU和FPGA。

2）徹底顛覆傳統(tǒng)計算架構，采用模擬人腦神經(jīng)元結構來提升計算能力，以IBM TrueNorth為代表的類腦芯片。類腦芯片研究是非常艱難的，IBM、高通、英特爾等公司的芯片策略都是用硬件來模仿人腦的神經(jīng)突觸。但由于技術和底層硬件的限制，這種方法尚處于前期研發(fā)階段，目前不具備大規(guī)模商業(yè)應用的可能性。