陳雷：香港科技大學(xué)計算機科學(xué)與工程系教授，大數據研究所主任，IEEE Fellow和ACM杰出科學(xué)家。研究方向包括數據驅動(dòng)AI、人力機器學(xué)習、知識圖譜、社交媒體上的數據挖掘等。在國際著(zhù)名期刊和會(huì )議上發(fā)表300余篇論文，曾獲得2015年SIGMOD時(shí)間測試獎。現任VLDB 2019程序委員會(huì )聯(lián)合主席、VLDB期刊主編、IEEE TKDE期刊副總編輯、VLDB Endowment執行成員。

　　本書(shū)系統地介紹了深度學(xué)習理論，并基于MindSpore AI計算框架進(jìn)行實(shí)踐。全書(shū)共分14章，內容涵蓋深度學(xué)習概況、深度學(xué)習基礎知識、深度神經(jīng)網(wǎng)絡(luò )、卷積神經(jīng)網(wǎng)絡(luò )、循環(huán)神經(jīng)網(wǎng)絡(luò )、無(wú)監督學(xué)習、深度強化學(xué)習、自動(dòng)化機器學(xué)習、端云協(xié)同、深度學(xué)習可視化及深度學(xué)習的數據準備等。為便于讀者學(xué)習，書(shū)中還給出了基于MindSpore實(shí)現的關(guān)于深度學(xué)習的開(kāi)發(fā)實(shí)例及線(xiàn)上資源。本書(shū)可作為普通高等學(xué)校人工智能、智能科學(xué)與技術(shù)、計算機科學(xué)與技術(shù)、電子信息工程、自動(dòng)化等專(zhuān)業(yè)的本科生及研究生教材，也可作為從事深度學(xué)習相關(guān)工作的軟件開(kāi)發(fā)工程師與科研人員的學(xué)習、參考用書(shū)。

　　第1章引言

　　1.1人工智能的歷史變遷

　　1.2什么是深度學(xué)習

　　1.3深度學(xué)習的現實(shí)應用

　　1.3.1自動(dòng)語(yǔ)音識別

　　1.3.2圖像識別

　　1.3.3自然語(yǔ)言處理

　　1.3.4其他領(lǐng)域

　　1.4本書(shū)的組織架構

　　1.5MindSpore簡(jiǎn)介

　　1.5.1編程簡(jiǎn)單

　　1.5.2端云協(xié)同

　　1.5.3調試輕松

　　1.5.4性能卓越

　　1.5.5開(kāi)源開(kāi)放

　　第2章深度學(xué)習基礎知識

　　2.1回歸問(wèn)題算法

　　2.2梯度下降算法

　　2.3分類(lèi)問(wèn)題算法

　　2.4過(guò)擬合與欠擬合

　　第3章深度神經(jīng)網(wǎng)絡(luò )

　　3.1前向網(wǎng)絡(luò )

　　3.2反向傳播

　　3.3泛化能力

　　3.4用MindSpore實(shí)現簡(jiǎn)單神經(jīng)網(wǎng)絡(luò )

　　3.4.1各層參數說(shuō)明

　　3.4.2詳細步驟

　　第4章深度神經(jīng)網(wǎng)絡(luò )的訓練

　　4.1深度學(xué)習系統面臨的主要挑戰

　　4.1.1大數據集需求

　　4.1.2硬件需求

　　4.1.3過(guò)擬合

　　4.1.4超參數優(yōu)化

　　4.1.5不透明性

　　4.1.6缺少靈活性

　　4.2正則化

　　4.2.1L2范數正則化

　　4.2.2L1范數正則化

　　4.3Dropout

　　4.4自適應學(xué)習率

　　4.4.1AdaGrad

　　4.4.2RMSProp

　　4.4.3Adam

　　4.5批標準化

　　4.6用MindSpore 實(shí)現深度神經(jīng)網(wǎng)絡(luò )

　　4.6.1各層參數說(shuō)明

　　4.6.2詳細步驟

　　第5章卷積神經(jīng)網(wǎng)絡(luò )

　　5.1卷積操作

　　5.2池化

　　5.3殘差網(wǎng)絡(luò )

　　5.4應用：圖片分類(lèi)

　　5.5用MindSpore實(shí)現基于卷積神經(jīng)網(wǎng)絡(luò )圖片分類(lèi)

　　5.5.1加載MindSpore模塊

　　5.5.2定義ResNet網(wǎng)絡(luò )結構

　　5.5.3設置超參數

　　5.5.4導入數據集

　　5.5.5訓練模型

　　第6章循環(huán)神經(jīng)網(wǎng)絡(luò )

　　6.1循環(huán)神經(jīng)網(wǎng)絡(luò )概述

　　6.2深度循環(huán)神經(jīng)網(wǎng)絡(luò )

　　6.3長(cháng)期依賴(lài)的挑戰

　　6.4長(cháng)短期記憶網(wǎng)絡(luò )和門(mén)控循環(huán)神經(jīng)網(wǎng)絡(luò )

　　6.4.1長(cháng)短期記憶網(wǎng)絡(luò )

　　6.4.2門(mén)控循環(huán)神經(jīng)網(wǎng)絡(luò )

　　6.5應用：文本預測

　　6.6用MindSpore實(shí)現基于長(cháng)短期記憶網(wǎng)絡(luò )的文本預測

　　6.6.1加載MindSpore模塊

　　6.6.2數據準備

　　6.6.3定義網(wǎng)絡(luò )

　　6.6.4參數介紹

　　6.6.5訓練模型

　　參考文獻

　　第7章無(wú)監督學(xué)習：詞向量

　　7.1Word2Vec

　　7.1.1提出背景

　　7.1.2發(fā)展現狀

　　7.1.3技術(shù)原理

　　7.1.4技術(shù)難點(diǎn)

　　7.1.5應用場(chǎng)景

　　7.1.6框架模塊

　　7.2GloVe

　　7.2.1提出背景

　　7.2.2發(fā)展現狀

　　7.2.3技術(shù)原理

　　7.2.4技術(shù)難點(diǎn)

　　7.2.5應用場(chǎng)景

　　7.2.6框架模塊

　　7.3Transformer

　　7.3.1提出背景

　　7.3.2發(fā)展現狀

　　7.3.3技術(shù)原理

　　7.3.4技術(shù)難點(diǎn)

　　7.3.5應用場(chǎng)景

　　7.3.6框架模塊

　　7.4BERT

　　7.4.1提出背景

　　7.4.2發(fā)展現狀

　　7.4.3技術(shù)原理

　　7.4.4技術(shù)難點(diǎn)

　　7.4.5應用場(chǎng)景

　　7.4.6框架模塊

　　7.5詞向量典型生成算法對比

　　7.6應用：自動(dòng)問(wèn)答

　　7.6.1自動(dòng)問(wèn)答的相關(guān)概念

　　7.6.2傳統的自動(dòng)問(wèn)答方法

　　7.6.3基于深度學(xué)習的自動(dòng)問(wèn)答方法

　　7.7用MindSpore 實(shí)現基于BERT的自動(dòng)問(wèn)答

　　7.7.1數據集準備

　　7.7.2訓練BERT網(wǎng)絡(luò )

　　參考文獻

　　第8章無(wú)監督學(xué)習：圖向量

　　8.1圖向量簡(jiǎn)介

　　8.2DeepWalk算法

　　8.2.1DeepWalk算法原理

　　8.2.2DeepWalk算法實(shí)現

　　8.3LINE算法

　　8.3.1LINE算法原理

　　8.3.2LINE算法實(shí)現

　　8.4Node2Vec算法

　　8.4.1Node2Vec算法原理

　　8.4.2Node2Vec算法實(shí)現

　　8.5GCN算法

　　8.5.1GCN算法原理

　　8.5.2GCN算法實(shí)現

　　8.6GAT算法

　　8.6.1GAT算法原理

　　8.6.2GAT算法實(shí)現

　　8.7應用：推薦系統

　　8.7.1工業(yè)界中的推薦系統

　　8.7.2推薦系統中的圖神經(jīng)網(wǎng)絡(luò )模型

　　參考文獻

　　第9章無(wú)監督學(xué)習：深度生成模型

　　9.1變分自編碼器

　　9.1.1提出背景

　　9.1.2發(fā)展現狀

　　9.1.3技術(shù)原理

　　9.1.4技術(shù)難點(diǎn)

　　9.1.5應用場(chǎng)景

　　9.2生成對抗網(wǎng)絡(luò )

　　9.2.1提出背景

　　9.2.2發(fā)展現狀

　　9.2.3技術(shù)原理

　　9.2.4技術(shù)難點(diǎn)

　　9.2.5應用場(chǎng)景

　　9.2.6框架模塊

　　9.3應用：數據增強

　　9.3.1數據增強的定義

　　9.3.2數據增強的目的

　　9.3.3傳統數據增強的方法

　　9.3.4基于深度學(xué)習的數據增強方法

　　9.4用MindSpore實(shí)現基于生成對抗網(wǎng)絡(luò )的數據增強

　　參考文獻

　　第10章深度強化學(xué)習

　　10.1強化學(xué)習基本概念

　　10.1.1基礎概念與理論

　　10.1.2馬爾可夫決策過(guò)程

　　10.1.3貝爾曼方程

　　10.2基本求解方法

　　10.2.1動(dòng)態(tài)規劃法

　　10.2.2蒙特卡羅法

　　10.2.3時(shí)間差分法

　　10.3深度強化學(xué)習算法

　　10.3.1DQN算法

　　10.3.2DDPG算法

　　10.3.3A3C算法

　　10.4最新應用

　　10.4.1推薦系統

　　10.4.2博弈游戲

　　10.5用MindSpore實(shí)現基于DQN的博弈游戲

　　參考文獻

　　第11章自動(dòng)化機器學(xué)習

　　11.1AutoML框架

　　11.1.1NAS算法

　　11.1.2超參調優(yōu)

　　11.2現有AutoML系統介紹

　　11.2.1AutoWeka/Auto�睸klearn/HyperOpt

　　11.2.2Microsoft NNI

　　11.3元學(xué)習

　　11.3.1學(xué)習優(yōu)化器

　　11.3.2學(xué)習參數初始化

　　11.3.3學(xué)習損失函數

　　11.3.4學(xué)習度量

　　11.4用MindSpore實(shí)現AutoML

　　參考文獻

　　第12章端云協(xié)同

　　12.1端側推理

　　12.2端云遷移學(xué)習

　　12.3端云聯(lián)邦學(xué)習

　　12.3.1聯(lián)邦平均

　　12.3.2梯度壓縮

　　12.4端云協(xié)同框架

　　參考文獻

　　第13章深度學(xué)習可視化

　　13.1深度學(xué)習可視化概述

　　13.1.1數據分析

　　13.1.2模型建立與理解

　　13.1.3訓練

　　13.1.4評估

　　13.2MindSpore可視化實(shí)踐

　　13.2.1可視化流程

　　13.2.2數據集可視化

　　13.2.3模型與訓練可視化

　　13.2.4Summary匯總數據格式

　　參考文獻

　　第14章深度學(xué)習的數據準備

　　14.1數據格式概述

　　14.2深度學(xué)習中的數據格式

　　14.2.1原始輸入

　　14.2.2標注信息

　　14.3常用的深度學(xué)習數據格式

　　14.3.1TFRecord格式

　　14.3.2LMDB存儲

　　14.3.3Rec格式

　　14.3.4MindSpore數據格式

　　14.3.5MindSpore數據集

　　14.4使用MindSpore數據格式進(jìn)行訓練數據準備

　　14.4.1MindSpore數據格式生成

　　14.4.2MindSpore數據格式統計與檢索

　　14.4.3MindSpore數據格式訓練數據讀取

　　附錄A中、英文對照詞匯表

　　附錄BMindSpore白皮書(shū)

　　參考文獻

　　MindSpore是華為公司開(kāi)發(fā)的深度學(xué)習框架，兼容目前主流的深度學(xué)習框架，支持端/邊/云全場(chǎng)景全棧協(xié)同開(kāi)發(fā)。本書(shū)由陳雷教授傾力編著(zhù)，陳雷教授是香港科技大學(xué)計算機科學(xué)與工程系教授，大數據研究所主任，IEEE Fellow和ACM杰出科學(xué)家。《深度學(xué)習與MindSpore實(shí)踐》系統介紹了深度學(xué)習的基礎理論、常用的深度神經(jīng)算法設計，并以大量基于MindSpore的實(shí)例幫助讀者掌握深度學(xué)習算法的實(shí)現。此外，本書(shū)還對深度學(xué)習中的樣本數據處理、可視化及端云協(xié)同進(jìn)行了深入的探討，因此我相信本書(shū)適合廣大讀者作為深度學(xué)習技術(shù)的入門(mén)讀物。

　　深度學(xué)習在最近十年得到了巨大發(fā)展，它使人工智能產(chǎn)生了革命性的突破，讓我們切實(shí)地領(lǐng)略到人工智能給生活帶來(lái)改變的潛力。《深度學(xué)習與MindSpore實(shí)踐》對深度學(xué)習的基礎技術(shù)進(jìn)行了深入淺出的闡述，既給出了富于啟發(fā)性和思想性的見(jiàn)解，又強調通過(guò)深度學(xué)習框架MindSpore的操作和實(shí)踐，特別適合從事深度學(xué)習的研發(fā)人員參考閱讀！

　　人工智能已成為我國發(fā)展的戰略性方向，而人工智能的發(fā)展離不開(kāi)計算框架的合理應用。MindSpore是開(kāi)源的深度學(xué)習計算框架，支持端/邊/云全場(chǎng)景全棧協(xié)同開(kāi)發(fā)，適配所有的AI 應用場(chǎng)景。很高興看到《深度學(xué)習與MindSpore實(shí)踐》系統介紹了深度學(xué)習的基礎知識和各種網(wǎng)絡(luò )模型，并通過(guò)MindSpore給出不同領(lǐng)域的應用，對深度學(xué)習的推廣具有重大意義。

　　MindSpore是華為公司開(kāi)發(fā)的深度學(xué)習框架，兼容目前主流的深度學(xué)習框架，支持端/邊/云全場(chǎng)景全棧協(xié)同開(kāi)發(fā)。《深度學(xué)習與MindSpore實(shí)踐》在總結深度學(xué)習的理論基礎上，系統地介紹了MindSpore框架，適合作為以MindSpore為工具開(kāi)發(fā)人工智能系統的研發(fā)人員的參考讀物。本書(shū)理論聯(lián)系實(shí)踐，不僅講解深度學(xué)習的模型、概念和算法，還給出了在MindSpore上實(shí)現的具體程序及步驟，強烈推薦閱讀。

　　我從事人工智能教學(xué)已經(jīng)十三年了，深刻感受到人工智能尤其是深度學(xué)習的教學(xué)效果很大程度上要依賴(lài)于實(shí)踐環(huán)節。特別是未來(lái)一段時(shí)間，深度學(xué)習仍然依賴(lài)于大數據和強大的算力，缺乏解釋性。華為公司硬件與軟件齊頭并進(jìn)，不僅構造了令人驕傲的強大算力平臺，還推出了MindSpore全場(chǎng)景AI計算框架，為人工智能人才的培養提供了優(yōu)秀的實(shí)踐平臺。相信《深度學(xué)習與MindSpore實(shí)踐》會(huì )很快進(jìn)入全國各大高校的課堂，并建議華為公司能把整個(gè)教學(xué)生態(tài)建好，打造人工智能人才培養的高地。

　　深度學(xué)習在人工智能領(lǐng)域有著(zhù)廣泛的應用。《深度學(xué)習與MindSpore實(shí)踐》系統介紹了深度學(xué)習的基礎理論、常用的深度神經(jīng)算法設計，并以大量基于MindSpore的實(shí)例幫助讀者掌握深度學(xué)習算法的實(shí)現。此外，本書(shū)還對深度學(xué)習中的樣本數據處理、可視化及端云協(xié)同進(jìn)行了深入的探討，因此我相信本書(shū)適合廣大讀者作為深度學(xué)習技術(shù)的入門(mén)讀物。

　　本書(shū)提供部分配套教學(xué)資源，可以關(guān)注「人工智能科學(xué)與技術(shù)」公眾號，在對話(huà)框界面輸入“教學(xué)資源”即可獲得本書(shū)的部分“教材樣章”。

　　一、您若是教師，可按以下方式申請圖書(shū)

　　（1）關(guān)注「人工智能科學(xué)與技術(shù)」公眾號，將本篇文章分享至朋友圈；

　　（2）打開(kāi)「人工智能科學(xué)與技術(shù)」公眾號對話(huà)框界面，輸入文字“圖書(shū)申請”，系統會(huì )彈出申請樣書(shū)二維碼；

　　（3）申請人須是普通高校教師并擔任所申請樣書(shū)對應課程，申請表中需要上傳相近課程的教學(xué)大綱證明身份。

　　注：申請圖書(shū)長(cháng)期有效，五個(gè)工作日內寄出圖書(shū)。

　　二、您若不是教師，可按以下方式圖書(shū)抽獎

　　（1）關(guān)注「人工智能科學(xué)與技術(shù)」公眾號，將本篇文章分享至朋友圈；

　　（2）打開(kāi)「人工智能科學(xué)與技術(shù)」公眾號對話(huà)框界面，輸入文字“深度學(xué)習抽獎”，系統會(huì )彈出抽獎二維碼；

　　（3）長(cháng)按二維碼參與抽獎即可，2020年06月07日晚9:00開(kāi)獎，請在開(kāi)獎后24小時(shí)內填寫(xiě)郵寄地址。

　　注：抽獎?dòng)行�期截�?020年06月07日9:00，五個(gè)工作日內寄出。