午夜视频在线网站,日韩视频精品在线,中文字幕精品一区二区三区在线,在线播放精品,1024你懂我懂的旧版人,欧美日韩一级黄色片,一区二区三区在线观看视频

分享

人工智能與深度學(xué)習(xí)技術(shù)16大回顧,承包你一年的知識(shí)點(diǎn)

 科技行者 2020-10-12

科技行者報(bào)道

來源:WildML

作者:Denny Britz

編譯:科技行者

激動(dòng)人心的2017年已結(jié)束,博客WildML的作者、曾在Google Brain做了一年Resident的Denny Britz,就分享出這一年他對(duì)AI和深度學(xué)習(xí)領(lǐng)域重點(diǎn)事件的回顧與梳理。可以說,這16個(gè)要點(diǎn),能在讓你在人工智能圈子里裝逼一年不落伍!

- 強(qiáng)化學(xué)習(xí)在游戲中全面壓制人類選手 -

2017年的第一件大事無疑當(dāng)數(shù)AlphaGo。這套強(qiáng)化學(xué)習(xí)方案擊敗了全球最出色的圍棋選手。由于擁有巨大的搜索空間,圍棋一直是機(jī)器學(xué)習(xí)技術(shù)難以攻克的重要挑戰(zhàn)所在,AlphaGo的出現(xiàn)則帶來了巨大的驚喜!

  • AlphaGo研究論文 

https://storage./deepmind-media/alphago/AlphaGoNaturePaper.pdf

AlphaGo的初始版本利用來自人類專家的訓(xùn)練數(shù)據(jù)作為指導(dǎo),并通過自我推衍以及蒙特卡洛樹搜索作出進(jìn)一步改進(jìn)。在不久之后,AlphaGo Zero在此基礎(chǔ)之上更進(jìn)一步,其能夠?qū)W會(huì)如何從零開始進(jìn)行圍棋對(duì)弈,且無需任何人工訓(xùn)練數(shù)據(jù)。此外,它還輕松擊敗了AlphaGo的初始版本。 

  • AlphaGo Zero研究論文

https://www./articles/nature24270.epdf?author_access_token=VJXbVjaSHxFoctQQ4p2k4tRgN0jAjWel9jnR3ZoTv0PVW4gB86EEpGqTRDtpIz-2rmo8-KG06gqVobU5NSCFeHILHcVFUeMsbvwS-lxjqQGg98faovwjxeTUgZAUMnRQ 

在2017年底,我們?cè)俣扔瓉鞟lphaGo Zero的全新算法AlphaZero,其不僅在圍棋領(lǐng)域無可匹敵,同時(shí)亦快速稱霸國(guó)際象棋與日本將棋。有趣的是,這些程序甚至令最具經(jīng)驗(yàn)的職業(yè)棋手們敬佩不已,并開始從AlphaGo當(dāng)中學(xué)習(xí)以調(diào)整自己的競(jìng)技風(fēng)格。為了簡(jiǎn)化這種學(xué)習(xí)過程,DeepMind小組還發(fā)布了專門的AlphaGo Teach工具。

  • AlphaZero 

https:///abs/1712.01815 

  • AlphaGo Teach 

https://alphagoteach./

不過圍棋絕不是我們?cè)跈C(jī)器學(xué)習(xí)領(lǐng)域取得顯著成就的唯一領(lǐng)域。來自卡耐基梅隆大學(xué)的研究人員們開發(fā)出的 Libratus 系統(tǒng)在一場(chǎng)為期20天的德州撲克錦標(biāo)賽當(dāng)中成功擊敗了各位頂級(jí)選手。而在此之前,由查爾斯大學(xué)、捷克技術(shù)大學(xué)以及艾伯塔大學(xué)研究人員們開發(fā)的DeepStack系統(tǒng)則成為首款能夠在德州撲克領(lǐng)域壓倒人類選手的成果。需要注意的是,這兩套系統(tǒng)都只能進(jìn)行單人撲克競(jìng)賽,即一對(duì)一比賽——這類情況要比多人撲克簡(jiǎn)單得多。不過相信多方撲克支持能力將會(huì)在2018年內(nèi)逐步得到實(shí)現(xiàn)。

  • Libratus論文:

http://science./content/early/2017/12/15/science.aao1733.full


強(qiáng)化學(xué)習(xí)的下一個(gè)發(fā)展領(lǐng)域似乎將面向更為復(fù)雜的多人游戲——其中當(dāng)然也包括多人撲克比賽。DeepMind小組目前正在積極研究《星際爭(zhēng)霸2》并已經(jīng)發(fā)布研究環(huán)境;OpenAI則在一對(duì)一的《Dota 2》游戲當(dāng)中初步獲得成功,預(yù)計(jì)將能夠在不久的未來實(shí)際參與五對(duì)五正式游戲比賽。

  • 星際爭(zhēng)霸2研究環(huán)境 

https:///blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment

  • Open AI Dota2 

https://blog./dota-2

- 進(jìn)化算法再度回歸 -

對(duì)于監(jiān)督學(xué)習(xí),基于梯度的反向傳播算法已經(jīng)獲得了非常好的效果,而且這一點(diǎn)很可能在未來一段時(shí)間內(nèi)繼續(xù)得到保持。然而在強(qiáng)化學(xué)習(xí)層面,進(jìn)化策略(簡(jiǎn)稱ES)則似乎正在東山再起。由于數(shù)據(jù)通常不符合iid原則(即獨(dú)立且分布相同),因此錯(cuò)誤信號(hào)將更加稀疏; 而且由于需要進(jìn)行探索,所以其它非基于梯度型算法往往效果更為理想。另外,進(jìn)化算法將能夠以線性方式擴(kuò)展至數(shù)千臺(tái)設(shè)備當(dāng)中,從而實(shí)現(xiàn)極快的并行熟練工。其不需要昂貴的GPU資源,而可通過大量(通常為數(shù)百乃至數(shù)千)低成本CPU實(shí)現(xiàn)訓(xùn)練。 

2017年早些時(shí)候,來自O(shè)penAI的研究人員們證明,進(jìn)化策略可以實(shí)現(xiàn)與標(biāo)準(zhǔn)強(qiáng)化學(xué)習(xí)算法(例如Deep Q-Learning)相媲美的處理效能。而到2017年底,Uber的一個(gè)團(tuán)隊(duì)發(fā)布了一篇博文與一組五篇研究論文,旨在進(jìn)一步展示遺傳算法與新穎性檢索的潛力。利用一種非常簡(jiǎn)單的遺傳算法,且無需任何梯度信息,其算法即可學(xué)會(huì)如何游玩多種不同的雅達(dá)利游戲。其最終得分達(dá)到10500,相比之下DQN、AC3以及ES等方法的得分則統(tǒng)統(tǒng)低于1000分。

  • 相關(guān)論文:

https://eng./deep-neuroevolution


2018年,我們很可能看到這方面出現(xiàn)更多研發(fā)成果。

- WaveNets、CNN以及關(guān)注機(jī)制 -

谷歌的Tacotron 2文本到語音轉(zhuǎn)換系統(tǒng)能夠生成令人印象深刻的音頻樣本,其基于WaveNet——一種亦被部署于谷歌助手當(dāng)中的自動(dòng)回歸模型,且在過去一年中實(shí)現(xiàn)了巨大的速度提升。WaveNet此前亦被應(yīng)用于機(jī)器翻譯領(lǐng)域,能夠顯著加快回歸架構(gòu)的訓(xùn)練速度。 

單從回歸架構(gòu)的角度來看,投入大量時(shí)間對(duì)其加以訓(xùn)練似乎成為這一機(jī)器學(xué)習(xí)子領(lǐng)域當(dāng)中的主流趨勢(shì)。不過在Attention Is All You Need(論文)的幫助下,研究人員們得以徹底擺脫回歸與卷積等方法,轉(zhuǎn)而利用一套更為復(fù)雜的關(guān)注機(jī)制在更短的訓(xùn)練時(shí)間之內(nèi)獲得最為出色的訓(xùn)練成果。

  • 谷歌Tacotron 2 

https://research./2017/12/tacotron-2-generating-human-like-speech.html

  • 音頻樣本 

https://google./tacotron/publications/tacotron2/index.html 

  • WaveNet 

https:///blog/wavenet-generative-model-raw-audio/ https:///blog/high-fidelity-speech-synthesis-wavenet/ 

  • Attention Is All You Need論文

https:///abs/1706.03762

- 深度學(xué)習(xí)框架的爆發(fā)元年 -

如果要用一句話來總結(jié)整個(gè)2017年,那么我會(huì)將其稱為框架爆發(fā)的元年。Facebook憑借著PyTorch首開先河,由于其動(dòng)態(tài)圖形結(jié)構(gòu)與Chainer非常類似,因此PyTorch得到了自然語言處理研究人員們的高度支持——這主要是由于他們經(jīng)常需要處理動(dòng)態(tài)且復(fù)雜的結(jié)構(gòu),而這些結(jié)構(gòu)往往很難在靜態(tài)框架(例如TensorFlow)當(dāng)中進(jìn)行聲明。 

當(dāng)然,TensorFlow在2017年同樣獲得了輝煌的成功。TensorFlow 1.0于2017年2月發(fā)布,其中包含一個(gè)穩(wěn)定且向下兼容的API。目前TensorFlow的最新版本為1.4.1。除了主框架之外,TensorFlow還擁有多種配套庫,包括用于動(dòng)態(tài)計(jì)算圖的TensorFlow Fold、用于數(shù)據(jù)輸入管道的TensorFlow Transform以及DeepMind開發(fā)的高級(jí)Sonnet庫。TensorFlow團(tuán)隊(duì)亦公布了一套新的迫切執(zhí)行(eager execution)模式,其工作方式類似于PyTorch當(dāng)中的動(dòng)態(tài)計(jì)算圖。

相關(guān)資料: 

  • TensorFlow 1.0

https://github.com/tensorflow/tensorflow/releases/tag/v1.0.0 

  • TensorFlow Fold

https://research./2017/02/announcing-tensorflow-fold-deep.html 

  • TensorFlow Transform 

https://research./2017/02/preprocessing-for-machine-learning-with.html 

  • DeepMind Sonnet庫 

https:///blog/open-sourcing-sonnet/ 

  • eager execution 

https://research./2017/10/eager-execution-imperative-define-by.html

除了谷歌與Facebook之外,眾多其它企業(yè)亦加入到這波機(jī)器學(xué)習(xí)框架的開發(fā)大潮當(dāng)中:

  • 蘋果公布其CoreML移動(dòng)機(jī)器學(xué)習(xí)庫。 

  • Uber研發(fā)團(tuán)隊(duì)發(fā)布Pyro,一種深度概率編程語言。 

  • Amazon發(fā)布Gluon,立足MXNet的高級(jí)API。 

  • Uber發(fā)布了其內(nèi)部Michelangelo機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施平臺(tái)的更多細(xì)節(jié)信息。

面對(duì)框架數(shù)量爆發(fā)式增長(zhǎng)的現(xiàn)狀,F(xiàn)acebook與微軟則聯(lián)合公布了ONNX開放格式,用于在不同框架之間共享深度學(xué)習(xí)模型。舉例來說,大家可以在一種框架當(dāng)中訓(xùn)練自己的模型,并隨后立足其它框架將其投入實(shí)際生產(chǎn)。

除了通用型深度學(xué)習(xí)框架之外,我們還看到大量強(qiáng)化學(xué)習(xí)框架正在發(fā)展當(dāng)中,具體包括:

  • OpenAI Roboschool是一款用于機(jī)器人模擬的開源軟件。 

https://blog./roboschool

  • OpenAI Baselines 是一套高質(zhì)量強(qiáng)化學(xué)習(xí)算法集合。

https://github.com/openai/baselines 

  • Tensorflow Agents 當(dāng)中包含經(jīng)過優(yōu)化的基礎(chǔ)設(shè)施,可利用ETensorFlow進(jìn)行強(qiáng)化學(xué)習(xí)代理訓(xùn)練。 

https://github.com/tensorflow/agents 

  • Unity ML Agents 允許研究人員與開發(fā)人員利用Unity Editor創(chuàng)建游戲與模擬,并利用強(qiáng)化學(xué)習(xí)完成訓(xùn)練。

 https://github.com/Unity-Technologies/ml-agents 

  • Nervana Coach 允許用戶利用最先進(jìn)的強(qiáng)化學(xué)習(xí)算法進(jìn)行實(shí)驗(yàn)。 

http://coach./ 

  • Facebook的ELF 平臺(tái)可用于游戲研究。 

https://code./posts/132985767285406/introducing-elf-an-extensive-lightweight-and-flexible-platform-for-game-research/ 

  • DeepMind Pycolab 是一款可定制網(wǎng)格世界游戲引擎。

https://github.com/deepmind/pycolab 

  • Geek.ai MAgent 是一套用于進(jìn)行多代理強(qiáng)化學(xué)習(xí)的研究平臺(tái)。

https://github.com/geek-ai/MAgent 

為了進(jìn)一步簡(jiǎn)化深度學(xué)習(xí)的上手門檻,面向Web的框架方案也應(yīng)運(yùn)而生——其中包括谷歌公司的deeplearn.js以及MIL WebDNN執(zhí)行框架。

不過作為一款非常流行的框架,Theano已經(jīng)走向其生命的終點(diǎn)。根據(jù)Theano項(xiàng)目往來郵件列表中的一份聲明,開發(fā)者們決定將1.0作為該項(xiàng)目的最終版本。

- 學(xué)習(xí)資源 -

隨著深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)逐漸積累起可觀的人氣,2017年技術(shù)業(yè)界為我們帶來越來越多在線錄制與發(fā)布的講座、訓(xùn)練營(yíng)以及會(huì)議活動(dòng)。以下是我個(gè)人最喜歡的部分重要資源:

  • Deep RL Bootcamp 由OpenAI與加州大學(xué)伯克利分校聯(lián)合主辦,其中包含強(qiáng)化學(xué)習(xí)基礎(chǔ)知識(shí)與相關(guān)最新研究成果。 

https://sites.google.com/view/deep-rl-bootcamp/lectures?authuser=0 

  • 斯坦福大學(xué)發(fā)布的視覺識(shí)別卷積神經(jīng)網(wǎng)絡(luò)課程2017年春季版本。 

http://cs231n. 

  • 課程視頻

https://www./playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv 

  • 斯坦福大學(xué)發(fā)布的利用深度學(xué)習(xí)實(shí)現(xiàn)自然語言處理課程2017年冬季版本。 

http://web./class/cs224n

  • 課程視頻

https://www./playlist?list=PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6 

  • 斯坦福大學(xué)的深度學(xué)習(xí)理論課程。 

https://stats385.

  • 新的Coursera深度學(xué)習(xí)專項(xiàng)課程。 

https://www./specializations/deep-learning 

  • 蒙特利爾深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)夏令營(yíng)。 

http:///deeplearning2017_montreal 

  • 加州大學(xué)伯克利分校的深度強(qiáng)化學(xué)習(xí)2017年秋季課程。 

http://rll./deeprlcourse 

  • TensorFlow開發(fā)者峰會(huì),其中主要探討深度學(xué)習(xí)基礎(chǔ)知識(shí)以及相關(guān)TensorFlow API。

 https://www./playlist?list=PLOU2XLYxmsIKGc_NBoIhTn2Qhraji53cv 

也有不少重要的學(xué)術(shù)會(huì)議繼續(xù)保持著僅進(jìn)行在線發(fā)布的傳統(tǒng)。如果大家希望緊隨尖端研究成果,則可關(guān)注下述頂級(jí)會(huì)議的相關(guān)錄音資料。 

  • NIPS 2017 

https:///Conferences/2017/Videos 

  • ICLR 2017 

https://www./pg/iclr.cc/videos 

  • EMNLP 2017 

https://ku.cloud./Panopto/Pages/Sessions/List.aspx 

研究人員們也開始在ArXiv上發(fā)布可輕松獲取的教程與調(diào)查性論文。以下為今年我個(gè)人最為推薦的內(nèi)容: 

  • 深度強(qiáng)化學(xué)習(xí):概論 

https:///abs/1701.07274 

  • 面向工程師的機(jī)器學(xué)習(xí)簡(jiǎn)介 

https:///abs/1709.02840 

  • 神經(jīng)機(jī)器翻譯 

https:///abs/1709.07809 

  • 神經(jīng)機(jī)器翻譯與序列到序列模型:教程 

https:///abs/1703.01619

- 實(shí)際應(yīng)用:人工智能與醫(yī)學(xué) -

2017年內(nèi),我們還看到一系列關(guān)于深度學(xué)習(xí)技術(shù)順利解決醫(yī)療問題,同時(shí)力壓人類專家的大膽聲明。不過其中仍存在不少炒作,而且不具備醫(yī)學(xué)背景的人士也很難了解其中真正的突破性成效。要對(duì)這類趨勢(shì)進(jìn)行全面的了解,我推薦由Luke Oakden-Rayner撰寫的“人類醫(yī)生的末日”系列博文:

https://lukeoakdenrayner./2017/04/20/the-end-of-human-doctors-introduction 

接下來,我將向大家簡(jiǎn)要介紹這一領(lǐng)域中的部分發(fā)展成果。 

作為今年一項(xiàng)重磅新聞,斯坦福大學(xué)的一支研究團(tuán)隊(duì)發(fā)布了一項(xiàng)深度學(xué)習(xí)算法的細(xì)節(jié)信息,其能夠有效幫助皮膚科醫(yī)生診斷皮膚癌。 

  • 相關(guān)研究

https://cs./people/esteva/nature 

  • 論文

https://www./articles/nature21056.epdf?author_access_token=8oxIcYWf5UNrNpHsUHd2StRgN0jAjWel9jnR3ZoTv0NXpMHRAJy8Qn10ys2O4tuPakXos4UhQAFZ750CsBNMMsISFHIKinKDMKjShCpHIlYPYUHhNzkn6pSnOCt0Ftf6 

斯坦福大學(xué)的另一個(gè)研究小組則開發(fā)出一套模型,能夠幫助心臟病專家更好地通過單導(dǎo)聯(lián)心電圖信號(hào)診斷心律失常癥狀。 

  • 相關(guān)研究

https://stanfordmlgroup./projects/ecg 

不過,過去一年當(dāng)中,失誤也仍然存在。DeepMind對(duì)英國(guó)國(guó)民健康保險(xiǎn)制度(簡(jiǎn)稱NHS)數(shù)據(jù)分析犯下了“不可原諒”的錯(cuò)誤,而美國(guó)國(guó)立衛(wèi)生研究院向科學(xué)界發(fā)布的胸部X射線數(shù)據(jù)集亦最終被證明并不適合用于訓(xùn)練診斷型AI模型。

- 應(yīng)用方向:藝術(shù)與GAN -

今年當(dāng)中,另一大引發(fā)廣泛關(guān)注的應(yīng)用方向在于圖像、音樂、藍(lán)圖以及視頻的創(chuàng)成式建模。NIPS 2017大會(huì)今年亦首次推出了“創(chuàng)新與設(shè)計(jì)型機(jī)器學(xué)習(xí)”工作室:https://nips2017creativity.

此類方案當(dāng)中,最為流行的成果之一當(dāng)數(shù)谷歌公司的QuickDraw,其利用神經(jīng)網(wǎng)絡(luò)對(duì)我們的涂鴉內(nèi)容加以識(shí)別。利用已經(jīng)發(fā)布的數(shù)據(jù)集,大家甚至能夠教會(huì)機(jī)器將自己的繪圖補(bǔ)充完全。

  • QuickDraw快速涂鴉

https://quickdraw.

創(chuàng)成式對(duì)抗網(wǎng)絡(luò)(簡(jiǎn)稱GAN)亦在今年取得了重大進(jìn)展。以CycleGAN、DiscoGAN以及StarGAN為代表的各類新型模型在人臉生成方面取得了令人印象深刻的成就。從傳統(tǒng)角度講,GAN一直難以生成逼真的高分辨率圖像,但如今 pix2pixHD 的成果展示讓人眼前一亮,亦證明我們已經(jīng)開始攻克這一難題。GAN未來會(huì)成為藝術(shù)家們新的畫筆嗎?

  • CycleGAN

https:///abs/1703.10593

  • DiscoGAN

https://github.com/carpedm20/DiscoGAN-pytorch

  • StarGAN

https://github.com/yunjey/StarGAN

- 應(yīng)用方向:自動(dòng)駕駛汽車 -

自動(dòng)駕駛領(lǐng)域的巨頭分別為Uber、Lyft、Alphabet下轄的Waymo以及特斯拉。Uber的方案由于軟件錯(cuò)誤而在舊金山的試驗(yàn)性駕駛當(dāng)中闖了幾次紅燈,但并不像之前媒體報(bào)道的那樣出現(xiàn)過人為失誤。在此之后,Uber共享了其內(nèi)部使用的汽車可視化平臺(tái)細(xì)節(jié)信息。Uber的自動(dòng)駕駛車輛項(xiàng)目到去年12月已經(jīng)累計(jì)行駛了200萬英里。 

相關(guān)研究:https://eng./atg-dataviz 

與此同時(shí),Waymo的自動(dòng)駕駛車輛在去年4月正式開始服役,并在隨后的亞利桑那州鳳凰城車賽中擊敗人類選手。Waymo方面同樣公布了其測(cè)試與模擬技術(shù)的細(xì)節(jié)信息。 

Lyft宣布其正在著手構(gòu)建自己的自動(dòng)駕駛硬件與軟件方案。其部署于波士頓的首套試驗(yàn)性方案目前正在推進(jìn)當(dāng)中。特斯拉的Autpilot還沒有作出太多更新。 另外,蘋果公司也已經(jīng)加入這一領(lǐng)域,Tim Cook證實(shí)稱蘋果方面正在開發(fā)用于自動(dòng)駕駛車輛的軟件,且研究人員已經(jīng)在ArXiv上發(fā)布了一篇與測(cè)繪相關(guān)的論文。 

相關(guān)論文:https:///abs/1711.06396

- 應(yīng)用方向:酷炫研究項(xiàng)目 -

過去一年中,出現(xiàn)了大量有趣的項(xiàng)目與演示成果,我們不可能在這篇短短的文章中將其全部囊括。不過下面是我匯總自過去一年的各大焦點(diǎn)項(xiàng)目:

  • 利用深度學(xué)習(xí)實(shí)現(xiàn)背景消除 

https:///background-removal-with-deep-learning-c4f2104b3157 

  • 利用深度學(xué)習(xí)創(chuàng)造動(dòng)漫角色 

http://make.e/#/ 

  • 利用神經(jīng)網(wǎng)絡(luò)進(jìn)行黑白照片上色 

https://blog./colorizing-b&w-photos-with-neural-networks/ 

  • 神經(jīng)網(wǎng)絡(luò)玩《馬里奧賽車》(超任版)

https://www./2017/11/5/16610012/mario-kart-mariflow-neural-network-video 

  • 面向《馬里奧賽車64》的實(shí)時(shí)AI 

https://github.com/rameshvarun/NeuralKart

  • 利用深度學(xué)習(xí)發(fā)現(xiàn)偽造品 

https://www./s/609524/this-ai-can-spot-art-forgeries-by-looking-at-one-brushstroke/ 

  • 從邊界到貓 

https:///pixsrv/index.html 

以下為其它研究方向: 

  • 無監(jiān)督情感神經(jīng)元 - 這是一種在學(xué)習(xí)情感方面擁有極佳表現(xiàn)的系統(tǒng),不過其訓(xùn)練目的僅僅是為了預(yù)測(cè)Amazon評(píng)論文本中可能出現(xiàn)的下一個(gè)字符。

https://blog./unsupervised-sentiment-neuron/ 

  • 學(xué)習(xí)交流 - 各代理將開發(fā)出自己的語言。

https://blog./learning-to-communicate 

  • 案例:學(xué)習(xí)索引結(jié)構(gòu) - 利用神經(jīng)網(wǎng)絡(luò)改進(jìn)高速緩存優(yōu)化型B樹,從而在實(shí)現(xiàn)提速70%的同時(shí)以指數(shù)級(jí)別縮減真實(shí)世界數(shù)據(jù)集的內(nèi)存占用量。 

https:///abs/1712.01208 

  • Attention is All You Need - Google推出的翻譯架構(gòu)Transformer完全舍棄了RNN/CNN結(jié)構(gòu)。 

https:///abs/1706.03762 

  • Mask R-CNN – 一套面向?qū)ο髮?shí)例拆分的通用型框架 

https:///abs/1703.06870 

  • Deep Image Prior:去噪、超分辨率與修復(fù) 

https://dmitryulyanov./deep_image_prior

- 數(shù)據(jù)集 -

用于監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)一直以對(duì)數(shù)據(jù)素材的迫切需求而聞名。正因?yàn)槿绱耍_放數(shù)據(jù)集的出現(xiàn)對(duì)研究界而言亦成為一項(xiàng)非常重要的貢獻(xiàn)。以下是今年出現(xiàn)的幾套關(guān)鍵性數(shù)據(jù)集:

  • Youtube Bounding Boxes 

https://research.google.com/youtube-bb/

  • 谷歌QuickDraw Data 

https://quickdraw./data 

  • DeepMind開源數(shù)據(jù)集 

https:///research/open-source/open-source-datasets

  • 谷歌語音命令數(shù)據(jù)集 

https://research./2017/08/launching-speech-commands-dataset.html 

  • Atomic Visual Actions 

https://research.google.com/ava/ 

  • Open Images數(shù)據(jù)集的多項(xiàng)更新 

https://github.com/openimages/dataset 

  • Nsynth音符注釋數(shù)據(jù)集 

https://magenta./datasets/nsynth 

  • Quora Question Pairs 

https://data./First-Quora-Dataset-Release-Question-Pairs

- 深度學(xué)習(xí)、重現(xiàn)性與煉金術(shù) -

過去一年來,一部分研究人員對(duì)于學(xué)術(shù)論文結(jié)果的可重現(xiàn)性提出了擔(dān)憂。深度學(xué)習(xí)模型通常需要大量超參數(shù)的介入,必須對(duì)其進(jìn)行優(yōu)化才能獲得理想的結(jié)果。但這種優(yōu)化工作可能需要大量成本,意味著只有谷歌以及Facebook這類巨頭級(jí)企業(yè)才有能力負(fù)擔(dān)。研究人員們有時(shí)并不會(huì)發(fā)布其代碼,選擇不在論文當(dāng)中體現(xiàn)重要的細(xì)節(jié),使用略有不同的評(píng)估程序,或者通過在同一分組之上重復(fù)優(yōu)化超參數(shù)來過度使用數(shù)據(jù)集等等。這一切使得重現(xiàn)性成為一大難題。研究人員們指出,在強(qiáng)化學(xué)習(xí)領(lǐng)域,利用不同代碼庫采取相同算法將得出完全不同的結(jié)果與高方差:

《GAN是否會(huì)得出對(duì)等的結(jié)果?一項(xiàng)大規(guī)模研究》當(dāng)中,研究人員們發(fā)現(xiàn)利用成本極高的超參數(shù)搜索進(jìn)行調(diào)整的GAN往往具有更出色的成效,并以此種結(jié)果作為其優(yōu)越性的證明。同樣的,在《神經(jīng)語言模型的評(píng)估現(xiàn)狀》一文中,研究人員們表明只要經(jīng)過適當(dāng)?shù)囊?guī)范化與調(diào)整,簡(jiǎn)單的LSTM架構(gòu)也能夠獲得超越其它更新模型的效能。

  • 兩篇論文地址

https:///abs/1711.10337

https:///abs/1707.05589

在有多位研究人員共同參與的一次NIPS討論當(dāng)中,Ali Rahimi將近期的深度學(xué)習(xí)方法與中世紀(jì)的煉金術(shù)進(jìn)行了比較,并呼吁應(yīng)采取更為嚴(yán)格的實(shí)驗(yàn)設(shè)計(jì)。Yann LeCun則將這樣的說法視為侮辱甚至是挑釁,并于第二天作出了回應(yīng)。

相關(guān)視頻:https://www./watch?v=Qi1Yry33TQE

- 人工智能:加拿大與中國(guó)制造 -

隨著美國(guó)移民政策的收緊,越來越多的企業(yè)開始在海外開設(shè)辦事處,而加拿大則成為首選目的地。谷歌在多倫多開設(shè)了新的辦公室,DeepMind在加拿大埃德蒙頓建立新的辦公室,F(xiàn)acebook AI Research也將業(yè)務(wù)擴(kuò)展至蒙特利爾。 

中國(guó)則是另一個(gè)廣受關(guān)注的目的地。由于擁有大量資金、可觀的人才儲(chǔ)備以及現(xiàn)成的政府?dāng)?shù)據(jù),中國(guó)正在立足人工智能開發(fā)與生產(chǎn)部署同美國(guó)開展直接競(jìng)爭(zhēng)。谷歌公司還宣布即將在北京開設(shè)新的實(shí)驗(yàn)室。

硬件之爭(zhēng):英偉達(dá)、英特爾、谷歌與特斯拉 

現(xiàn)代深度學(xué)習(xí)技術(shù)的一大特色,在于其要求利用昂貴的GPU資源對(duì)最先進(jìn)的模型加以訓(xùn)練。到目前為止,英偉達(dá)公司一直是這一領(lǐng)域中的大贏家。今年,該公司公布了最新TITAN V旗艦級(jí)GPU。然而,競(jìng)爭(zhēng)熱度正在持續(xù)升級(jí)。谷歌公司的TPU目前已經(jīng)開始通過其云平臺(tái)交付,英特爾旗下的Nervana推出一款新型芯片,甚至特斯拉公司都表示其正在開發(fā)自己的AI硬件。當(dāng)然,中國(guó)也可能貢獻(xiàn)更多競(jìng)爭(zhēng)勢(shì)力——專門從事比特幣采礦的硬件制造商們也希望邁入以人工智能為核心的GPU業(yè)務(wù)領(lǐng)域。

- 炒作與失敗 -

目前的炒作態(tài)勢(shì)仍然非??鋸?。主流媒體的報(bào)道與研究實(shí)驗(yàn)室或者生產(chǎn)系統(tǒng)中的實(shí)際結(jié)果幾乎毫無關(guān)系。IBM沃森即是過度營(yíng)銷層面的傳奇之作——其根本無法帶來與名聲相符的能力。2017年,每個(gè)人都對(duì)IBM沃森感到失望——考慮到其在醫(yī)療方面的一再失敗,這樣的結(jié)論并不令人意外。

而另一大炒作故事當(dāng)數(shù)Facebook中“研究人員們關(guān)閉了一套自行發(fā)明語言的AI”,好奇的朋友可以自行搜索相關(guān)內(nèi)容。總而言之,這就是徹頭徹尾的標(biāo)題黨,真實(shí)情況是研究人員們因?yàn)閷?shí)驗(yàn)結(jié)果不好而關(guān)閉了一項(xiàng)測(cè)試。

當(dāng)然,這一切也不能全怪新聞媒體。研究人員本身也存在過度描述的問題,包括在某些論文當(dāng)中作出與實(shí)際實(shí)驗(yàn)結(jié)果不符的說明。

- 加盟與離職 -

Coursera聯(lián)合創(chuàng)始人吳恩達(dá)于2017年3月離開了百度并創(chuàng)立自己的AI公司,隨后他籌集到1.5億美元資金并建立起新初創(chuàng)企業(yè)landing.ai,專注于制造業(yè)。此外,Gary Marcus辭去了Uber人工智能實(shí)驗(yàn)室主任的職務(wù),F(xiàn)acebook吸納Siri自然語言理解負(fù)責(zé)人,另有幾位著名研究人員離開OpenAI開創(chuàng)自己的機(jī)器人公司。 

學(xué)術(shù)界的科學(xué)家們也在紛紛“下?!保鞔蟾咝?shí)驗(yàn)室紛紛抱怨稱他們無法在薪酬層面同各行業(yè)巨頭進(jìn)行競(jìng)爭(zhēng)。

- 初創(chuàng)企業(yè)投資與收購 - 

與上一年一樣,217年的AI初創(chuàng)企業(yè)生態(tài)系統(tǒng)仍在蓬勃發(fā)展,并完成了多項(xiàng)重要收購:

  • 微軟收購深度學(xué)習(xí)初創(chuàng)企業(yè)Maluuba公司

  • 谷歌云收購Kaggle公司 

  • 軟銀收購機(jī)器人制造商Boston Dynamics公司(但該機(jī)器人廠商很少使用機(jī)器學(xué)習(xí)技術(shù)) 

  • Facebook 收購AI助手初創(chuàng)企業(yè)Ozlo公司

  • 三星收購 Fluently以鞏固Bixby技術(shù)實(shí)力 

此外還有幾家剛剛籌得可觀資金的新公司:

  • Mythic籌得880萬美元以研發(fā)芯片上AI技術(shù) 

  • Element AI平臺(tái)可供企業(yè)客戶構(gòu)建AI解決方案,融資1.02億美元 

  • Drive.ai融資5000萬美元,并喜迎吳恩達(dá)加入董事會(huì) 

  • Graphcore籌得3000萬美元

  • Appier在C輪融資中籌得3300萬美元 

  • Prowler.io融資1300萬美元 

  • Sophia Genetics 籌得3000萬美元,旨在幫助醫(yī)生利用AI與基因數(shù)據(jù)實(shí)現(xiàn)診斷

最后,祝大家新年快樂!感謝您的耐心閱讀:)

    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多