深度學(xué)習是人工智能發(fā)展最快的一個(gè)分支，在很多領(lǐng)域都取得了驚人的成績(jì)。
那么，最近30年來(lái)，神經(jīng)網(wǎng)絡(luò )的發(fā)展有哪些主線(xiàn)？2019年人工智能界有哪些大事發(fā)生？哪些AI人才和新模型的出現正主導行業(yè)發(fā)展？
11月30日下午，2019中國人工智能產(chǎn)業(yè)年會(huì )重磅發(fā)布《2019人工智能發(fā)展報告》（Report of Artificial Intelligence Development 2019），梳理了人工智能這一年的最新進(jìn)展和態(tài)勢。
中國人工智能發(fā)展報告2019：
https://static.aminer.cn/misc/pdf/pdf/caai2019.pdf
清華大學(xué)計算機系副主任、唐杰教授主持了報告發(fā)布儀式，九三中央科技委副主任、中國傳感器與物聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟副理事長(cháng)郭源生教授，日本工程院院士、中國人工智能學(xué)會(huì )名譽(yù)副理事長(cháng)、日本德島大學(xué)任副繼教授及與會(huì )嘉賓共同為報告揭幕。
唐杰教授代表報告編寫(xiě)相關(guān)單位就《2019人工智能發(fā)展報告》主要內容進(jìn)行了介紹。
唐杰教授發(fā)言
報告依托于A(yíng)Miner平臺數據資源及技術(shù)挖掘成果生成相關(guān)數據報告及圖表，邀請清華大學(xué)、同濟大學(xué)等高校專(zhuān)家解讀核心技術(shù)及提出觀(guān)點(diǎn)建議，在一定程度上保證了報告的科學(xué)性和權威性。
報告涉及AI 13個(gè)子領(lǐng)域
報告兩大亮點(diǎn)
唐杰教授介紹，“該報告對人工智能每一個(gè)子領(lǐng)域進(jìn)行了詳細的分析，包括基本概念、發(fā)展歷史、人才概況、代表性論文解讀和前沿技術(shù)進(jìn)展。相比于2018年的人工智能發(fā)展報告，具有兩方面亮點(diǎn)，一方面體現在”AI技術(shù)的近期發(fā)展“，另一方面體現在”人才脈絡(luò )一網(wǎng)打盡“。
針對亮點(diǎn)一“AI技術(shù)的近期發(fā)展”，唐杰教授以 “深度學(xué)習”為例做了詳細闡述。深度學(xué)習是近10年機器學(xué)習領(lǐng)域發(fā)展最快的一個(gè)分支，由于其重要性，Geoffrey Hinton、Yann Lecun、Yoshua Bengio三位教授因此同獲2018年圖靈獎。
深度學(xué)習模型的發(fā)展可以追溯到1958年的感知機（Perceptron）。1943年神經(jīng)網(wǎng)絡(luò )就已經(jīng)出現雛形（源自NeuroScience），1958年研究認知的心理學(xué)家Frank發(fā)明了感知機，當時(shí)掀起一股熱潮。后來(lái)Marvin Minsky（人工智能大師）和Seymour Papert發(fā)現感知機的缺陷：不能處理異或回路等非線(xiàn)性問(wèn)題，以及當時(shí)存在計算能力不足以處理大型神經(jīng)網(wǎng)絡(luò )的問(wèn)題，于是整個(gè)神經(jīng)網(wǎng)絡(luò )的研究進(jìn)入停滯期。
最近30年來(lái)深度學(xué)習取得了快速發(fā)展。《2019人工智能發(fā)展報告》羅列了深度學(xué)習的四個(gè)主要脈絡(luò )，最上層是卷積網(wǎng)絡(luò )，中間層是無(wú)監督學(xué)習脈絡(luò )，再下面一層是序列深度模型發(fā)展脈絡(luò )，最底層是增強學(xué)習發(fā)展脈絡(luò )。這四條脈絡(luò )全面展示了“深度學(xué)習技術(shù)”的發(fā)展近況。（以下內容摘自報告第二章節）
深度學(xué)習模型最近若干年的重要進(jìn)展
第一個(gè)發(fā)展脈絡(luò )（上圖淺紫色區域）以計算機視覺(jué)和卷積網(wǎng)絡(luò )為主。這個(gè)脈絡(luò )的進(jìn)展可以追溯到1979年，Fukushima 提出的Neocognitron。該研究給出了卷積和池化的思想。1986年Hinton提出的反向傳播訓練MLP（之前也有幾個(gè)類(lèi)似的研究），該研究解決了感知機不能處理非線(xiàn)性學(xué)習的問(wèn)題。1998年，以Yann LeCun為首的研究人員實(shí)現了一個(gè)七層的卷積神經(jīng)網(wǎng)絡(luò )LeNet-5以識別手寫(xiě)數字。現在普遍把Yann LeCun的這個(gè)研究作為卷積網(wǎng)絡(luò )的源頭，但其實(shí)在當時(shí)由于SVM的迅速崛起，這些神經(jīng)網(wǎng)絡(luò )的方法還沒(méi)有引起廣泛關(guān)注。
真正使得卷積神經(jīng)網(wǎng)絡(luò )登上大雅之堂的事件是2012年Hinton組的AlexNet（一個(gè)設計精巧的CNN）在ImageNet上以巨大優(yōu)勢奪冠，這引發(fā)了深度學(xué)習的熱潮。AlexNet在傳統CNN的基礎上加上了ReLU、Dropout等技巧，并且網(wǎng)絡(luò )規模更大。這些技巧后來(lái)被證明非常有用，成為卷積神經(jīng)網(wǎng)絡(luò )的標配，被廣泛發(fā)展，于是后來(lái)出現了VGG、GoogLenet等新模型。2016年，青年計算機視覺(jué)科學(xué)家何愷明在層次之間加入跳躍連接，提出殘差網(wǎng)絡(luò )ResNet。ResNet極大增加了網(wǎng)絡(luò )深度，效果有很大提升。一個(gè)將這個(gè)思路繼續發(fā)展下去的是近年的CVPR Best Paper中黃高提出的DenseNet。在計算機視覺(jué)領(lǐng)域的特定任務(wù)出現了各種各樣的模型（Mask-RCNN等）。2017年，Hinton認為反向傳播和傳統神經(jīng)網(wǎng)絡(luò )還存在一定缺陷，因此提出Capsule Net，該模型增強了可解釋性，但目前在CIFAR等數據集上效果一般，這個(gè)思路還需要繼續驗證和發(fā)展。
第二個(gè)發(fā)展脈絡(luò )（上圖淺綠色區域）以生成模型為主。傳統的生成模型是要預測聯(lián)合概率分布P（x， y）。機器學(xué)習方法中生成模型一直占據著(zhù)一個(gè)非常重要的地位，但基于神經(jīng)網(wǎng)絡(luò )的生成模型一直沒(méi)有引起廣泛關(guān)注。Hinton在2006年的時(shí)候基于受限玻爾茲曼機（RBM，一個(gè)19世紀80年代左右提出的基于無(wú)向圖模型的能量物理模型）設計了一個(gè)機器學(xué)習的生成模型，并且將其堆疊成為Deep Belief Network，使用逐層貪婪或者wake-sleep的方法訓練，當時(shí)模型的效果其實(shí)并沒(méi)有那么好。但值得關(guān)注的是，正是基于RBM模型Hinton等人開(kāi)始設計深度框架，因此這也可以看做深度學(xué)習的一個(gè)開(kāi)端。
Auto-Encoder也是上個(gè)世紀80年代Hinton就提出的模型，后來(lái)隨著(zhù)計算能力的進(jìn)步也重新登上舞臺。Bengio等人又提出了Denoise Auto-Encoder，主要針對數據中可能存在的噪音問(wèn)題。Max Welling（這也是變分和概率圖模型的高手）等人后來(lái)使用神經(jīng)網(wǎng)絡(luò )訓練一個(gè)有一層隱變量的圖模型，由于使用了變分推斷，并且最后長(cháng)得跟Auto-Encoder有點(diǎn)像，被稱(chēng)為Variational Auto-Encoder。此模型中可以通過(guò)隱變量的分布采樣，經(jīng)過(guò)后面的Decoder網(wǎng)絡(luò )直接生成樣本。生成對抗模型GAN（Generative Adversarial Network）是2014年提出的非常火的模型，它是一個(gè)通過(guò)判別器和生成器進(jìn)行對抗訓練的生成模型，這個(gè)思路很有特色，模型直接使用神經(jīng)網(wǎng)絡(luò )G隱式建模樣本整體的概率分布，每次運行相當于從分布中采樣。后來(lái)引起大量跟隨的研究，包括：DCGAN是一個(gè)相當好的卷積神經(jīng)網(wǎng)絡(luò )實(shí)現，WGAN是通過(guò)維爾斯特拉斯距離替換原來(lái)的JS散度來(lái)度量分布之間的相似性的工作，使得訓練穩定。PGGAN逐層增大網(wǎng)絡(luò )，生成逼真的人臉。
第三個(gè)發(fā)展脈絡(luò )（上圖橙黃色區域）是序列模型。序列模型不是因為深度學(xué)習才有的，而是很早以前就有相關(guān)研究，例如有向圖模型中的隱馬爾科夫HMM以及無(wú)向圖模型中的條件隨機場(chǎng)模型CRF都是非常成功的序列模型。即使在神經(jīng)網(wǎng)絡(luò )模型中，1982年就提出了Hopfield Network，即在神經(jīng)網(wǎng)絡(luò )中加入了遞歸網(wǎng)絡(luò )的思想。1997年Jürgen Schmidhuber發(fā)明了長(cháng)短期記憶模型LSTM（Long-Short Term Memory），這是一個(gè)里程碑式的工作。當然，真正讓序列神經(jīng)網(wǎng)絡(luò )模型得到廣泛關(guān)注的還是2013年Hinton組使用RNN做語(yǔ)音識別的工作，比傳統方法高出一大截。在文本分析方面，另一個(gè)圖靈獎獲得者Yoshua Bengio在SVM很火的時(shí)期提出了一種基于神經(jīng)網(wǎng)絡(luò )的語(yǔ)言模型（當然當時(shí)機器學(xué)習還是SVM和CRF的天下），后來(lái)Google提出的word2vec（2013）也有一些反向傳播的思想，最重要的是給出了一個(gè)非常高效的實(shí)現，從而引發(fā)這方面研究的熱潮。
后來(lái)，在機器翻譯等任務(wù)上逐漸出現了以RNN為基礎的seq2seq模型，通過(guò)一個(gè)Encoder把一句話(huà)的語(yǔ)義信息壓成向量再通過(guò)Decoder轉換輸出得到這句話(huà)的翻譯結果，后來(lái)該方法被擴展到和注意力機制（Attention）相結合，也大大擴展了模型的表示能力和實(shí)際效果。再后來(lái)，大家發(fā)現使用以字符為單位的CNN模型在很多語(yǔ)言任務(wù)也有不俗的表現，而且時(shí)空消耗更少。Self-attention實(shí)際上就是采取一種結構去同時(shí)考慮同一序列局部和全局的信息，Google有一篇很有名的文章“attention is all you need”把基于A(yíng)ttention的序列神經(jīng)模型推向高潮。當然2019年ACL上同樣有另一篇文章給這一研究也稍微降了降溫。
第四個(gè)發(fā)展脈絡(luò )（上圖粉色區域）是增強學(xué)習。這個(gè)領(lǐng)域最出名的當屬Deep Mind，圖中標出的David Silver博士是一直研究RL的高管。Q-learning是很有名的傳統RL算法，Deep Q-learning將原來(lái)的Q值表用神經(jīng)網(wǎng)絡(luò )代替，做了一個(gè)打磚塊的任務(wù)。后來(lái)又應用在許多游戲場(chǎng)景中，并將其成果發(fā)表在Nature上。Double Dueling對這個(gè)思路進(jìn)行了一些擴展，主要是Q-Learning的權重更新時(shí)序上。DeepMind的其他工作如DDPG、A3C也非常有名，它們是基于Policy Gradient和神經(jīng)網(wǎng)絡(luò )結合的變種。大家都熟知的AlphaGo，里面其實(shí)既用了RL的方法也有傳統的蒙特卡洛搜索技巧。Deep Mind后來(lái)提出了一個(gè)使用AlphaGo的框架，但通過(guò)主學(xué)習來(lái)玩不同（棋類(lèi)）游戲的新算法Alpha Zero。
唐杰教授表示：“報告還展示了近一兩年深度學(xué)習的發(fā)展熱點(diǎn)，比如去年谷歌BERT一經(jīng)發(fā)布，就引起了整個(gè)產(chǎn)業(yè)界和學(xué)術(shù)界的轟動(dòng)，或將影響深度學(xué)習乃至整個(gè)機器學(xué)習的未來(lái)。
報告對Bert的相關(guān)研究進(jìn)行了詳細梳理，無(wú)論是最新還是最經(jīng)典的研究都進(jìn)行了整理，可以讓讀者從相關(guān)研究中窺見(jiàn)未來(lái)。”
通過(guò)AMiner可生成趨勢分析
亮點(diǎn)一還體現在詳細的知識圖譜中。唐杰教授指出，“每一個(gè)領(lǐng)域都有豐富的知識圖譜架構，從知識圖譜可以一覽整個(gè)領(lǐng)域的發(fā)展脈絡(luò )。同時(shí)，通過(guò)這樣的知識圖譜還可以進(jìn)一步開(kāi)展包含主題分析、熱點(diǎn)話(huà)題分析等多層次的趨勢分析、趨勢洞察等”。
針對亮點(diǎn)二“人才脈絡(luò )一網(wǎng)打盡”，唐杰教授做了簡(jiǎn)單分析。報告通過(guò)對人工智能頂級期刊/會(huì )議近10年論文及相關(guān)學(xué)者數據的深度挖掘分析，研究了各領(lǐng)域學(xué)者在世界及我國的分布規律。同時(shí)，報告進(jìn)一步統計分析了各領(lǐng)域學(xué)者性別比例、h-index分布以及中國在各領(lǐng)域的合作情況，通過(guò)統計中外合作論文中作者的單位信息，將作者映射到各個(gè)國家中，進(jìn)而統計出中國與各國之間合作論文的情況。
唐杰教授介紹說(shuō)，“我們還開(kāi)發(fā)了人才精準畫(huà)像和超大規模知識圖譜，通過(guò)數據挖掘，首先找到作者，對每一個(gè)作者進(jìn)行深度的人才畫(huà)像，不僅能看到每一個(gè)學(xué)者的聯(lián)系方式、職位、單位信息，還有職位變遷、興趣變化等等。另一方面，通過(guò)對學(xué)者的精準畫(huà)像，針對每一個(gè)領(lǐng)域的專(zhuān)家全球分布圖和國內分布圖可以進(jìn)行國內外對比分析，甚至可以開(kāi)展人才流失分析，比如分析一個(gè)國家人才引進(jìn)和人才流出的情況是盈利還是虧損等。”
為智能產(chǎn)業(yè)發(fā)展助力獻策
當前，我國進(jìn)入科技高速發(fā)展期，人工智能作為科技領(lǐng)域冉冉升起的新星，受到國家的高度重視。在多層次戰略規劃的指導下，無(wú)論是學(xué)術(shù)界還是產(chǎn)業(yè)界，我國在人工智能?chē)H同行中均有不錯的表現。我國人工智能的發(fā)展已駛入快車(chē)道。
在這個(gè)階段下，能夠推動(dòng)技術(shù)突破和創(chuàng )造性應用的高端人才對人工智能的發(fā)展起著(zhù)至關(guān)重要的作用。此次發(fā)布的《2019人工智能發(fā)展報告》，通過(guò)深入探討研究方法，對近年來(lái)的熱點(diǎn)及前沿技術(shù)進(jìn)行了深度解讀，展現最新研究成果，內容在聚焦當下人工智能發(fā)展現狀的同時(shí)，并作出技術(shù)性分析，更對相關(guān)領(lǐng)域的未來(lái)發(fā)展方向進(jìn)行了展望，為讀者了解近期人工智能相關(guān)領(lǐng)域的發(fā)展動(dòng)向、基礎及應用研究的代表性成果提供信息窗口。
該報告由清華大學(xué)-中國工程院知識智能聯(lián)合研究中心、中國人工智能學(xué)會(huì )吳文俊人工智能科學(xué)技術(shù)獎評選基地聯(lián)合發(fā)布，北京智譜華章科技有限公司提供技術(shù)支持。報告力圖綜合展現中國乃至全球人工智能重點(diǎn)領(lǐng)域發(fā)展現狀與趨勢，助力產(chǎn)業(yè)健康發(fā)展，服務(wù)國家戰略決策。
報告精彩概要視頻
唐杰教授“PPT”鏈接：
https://static.aminer.cn/misc/pdf/caaiReport2019.pdf
報告下載鏈接：
https://static.aminer.cn/misc/pdf/pdf/caai2019.pdf
