近期，小i機器人推出了新一代智能Bot開(kāi)放平臺，它整合了小i機器人ChattingBot、FAQBot、DiscoveryBot三大核心能力，為企業(yè)和開(kāi)發(fā)者提供智能機器人服務(wù)+人工在線(xiàn)服務(wù)+智能人機協(xié)作學(xué)習的完整使用閉環(huán)，除智能客服場(chǎng)景應用外，智能營(yíng)銷(xiāo)、智能外呼、智能硬件等多種不同類(lèi)型的應用場(chǎng)景也將陸續開(kāi)放。
平臺開(kāi)放的目的就是降低企業(yè)使用和擁有AI技術(shù)的成本與門(mén)檻，讓企業(yè)和開(kāi)發(fā)者快速開(kāi)發(fā)出滿(mǎn)足自身業(yè)務(wù)需求的智能服務(wù)系統或者具有智能交互能力的對話(huà)機器人。
近日，小i機器人技術(shù)委員會(huì )輪值主席兼首席架構師李波受邀做客CSDN主編下午茶，一起探討NLP技術(shù)落地的難點(diǎn)，以及如何降低開(kāi)發(fā)者門(mén)檻等熱點(diǎn)話(huà)題。
NLP的發(fā)展方向
AI科技大本營(yíng)：能簡(jiǎn)單介紹下NLP技術(shù)嗎？
李波：NLP技術(shù)目前有兩種，一種是基于規則，還有一種是基于統計。近年來(lái)，基于統計的NLP技術(shù)占據了上風(fēng)，特別是深度學(xué)習出現之后，基于統計的NLP技術(shù)進(jìn)展快很多。并不是說(shuō)誰(shuí)更優(yōu)，或者誰(shuí)更差，它們各有所長(cháng)，比如基于統計的模型的泛化性比較好，但是它是一個(gè)黑盒。一些應用還需要兩者結合使用，比如在問(wèn)答系統中，有些機器回答并不是很友好，就可以利用基于規則的方法做補充，兩者結合來(lái)達到產(chǎn)品化的程度。
拋開(kāi)運算智能，人工智能主要包含兩個(gè)層面，一個(gè)是認知智能，一個(gè)是感知智能。比如常見(jiàn)的語(yǔ)音識別、圖像識別就屬于感知智能的層面，目前比較成熟的落地應用也比較多，而NLP則屬于認知智能層面。NLP往往需要結合上下文信息，甚至考慮背景知識、常識性知識等。另外，感知智能（如圖片識別）的輸入輸出一般是單輪的(single-turn)，但是NLP往往需要多輪的(multi-turn)交互后才能得到結果。目前NLP技術(shù)還處于發(fā)展的早起階段，還有很多難點(diǎn)需要突破。
AI科技大本營(yíng)：你覺(jué)得它未來(lái)還會(huì )有很快的進(jìn)展嗎？還有哪些需要探索的方向？
李波：常識和背景知識：用NLP做專(zhuān)業(yè)性很強的事情，可能效果會(huì )很好，反到是小概率簡(jiǎn)單的事情做不到，因為缺乏常識。想要解決這個(gè)問(wèn)題就需要構建常識庫，然后與模型結合，這是一個(gè)難點(diǎn)，也是大家比較愿意探索的一個(gè)方向。
多模態(tài)：人類(lèi)是通過(guò)視覺(jué)、聽(tīng)覺(jué)等各種感觀(guān)結合在一起來(lái)理解一件事情的，也就是多模態(tài)。假設NLP系統可以同時(shí)結合音頻和視頻來(lái)理解用戶(hù)的意圖，那么可能會(huì )有更大的突破。
預訓練：這是近期大家可以嘗試的一個(gè)熱點(diǎn)。預訓練在音頻和圖片領(lǐng)域已經(jīng)得到了廣泛應用，最近Google的BERT則是把預訓練運用到了NLP領(lǐng)域，取得了不錯的效果。這也是近期的一個(gè)熱點(diǎn)，大家可以去嘗試。
強化學(xué)習：在認知智能方面，強化學(xué)習也有些不錯的方向。
NLP如何走出實(shí)驗室
AI科技大本營(yíng)：學(xué)術(shù)界的成果能夠及時(shí)地應用到工業(yè)界嗎？
李波：有些技術(shù)可以及時(shí)轉化，有些技術(shù)還需要轉化周期。這個(gè)轉化周期意思就是說(shuō)，我們要考慮商用模型的性能和準確率，此外還有其他的工程條件，滿(mǎn)足這些標準之后，才可以把研究成果輸出到產(chǎn)品。學(xué)術(shù)界訓練一個(gè)模型只看最后的評價(jià)指標，也就是一個(gè)百分比的結果，但落地的時(shí)候考慮更多因素，比如一個(gè)準確率99%的模型，但剩下1%的工程化的工作量，不一定比99%工作量小。
AI科技大本營(yíng)：從實(shí)驗室到模型商用化落地，你們最關(guān)心什么？
李波：我們最關(guān)心的首先是要模型的可用性要達到工業(yè)化落地的標準，除此之外包括產(chǎn)品的UI設計、體驗設計等也非常重要。NLP不像圖片和語(yǔ)音，在UI方面需要考慮的更多。比如機器翻譯系統的準確率達到一定程度后，如果UI做得不好，用戶(hù)體驗不好，可能會(huì )對落地造成的很大的影響。這是一個(gè)系統化的工程，包括成本、用戶(hù)體驗，為客戶(hù)帶來(lái)多少價(jià)值等，都需要考慮。
AI科技大本營(yíng)：關(guān)于A(yíng)I創(chuàng )業(yè)公司落地難的問(wèn)題，小i機器人有什么好的經(jīng)驗可以分享嗎？
李波：跟圖片和語(yǔ)音對比，NLP特別難，NLP涉及到的多模態(tài)是它的一個(gè)難點(diǎn)。第二個(gè)難點(diǎn)是需要結合背景知識及常識。這兩個(gè)問(wèn)題在目前并沒(méi)有很好的處理方式。小i主要是結合基于規則+統計的方式，引入知識，比如我之前提到的領(lǐng)域語(yǔ)義庫，目的就是融入常識和背景知識。最后就是個(gè)性化的問(wèn)題，NLP的輸出往往和個(gè)體相關(guān)，不同的個(gè)體需要依據人物畫(huà)像等信息給出不同的個(gè)性化的結果，這樣才更接近人類(lèi)的處理方式。
此外，NLP的落地場(chǎng)景不是那么直接，需要結合客戶(hù)或者是產(chǎn)品設計。比如做推薦，我們訓練模型的關(guān)注點(diǎn)可能就是模型對應的幾個(gè)指標，比如查準率等，但是客戶(hù)看的是最后推薦的效果，也就是用戶(hù)實(shí)際的評價(jià)和購買(mǎi)情況。因此，不管實(shí)驗室的效果如何，在實(shí)際效果中，需要根據客戶(hù)的反饋不斷調整系統參數，調整訓練數據，或者結合其他算法等等，以此來(lái)提高最終落地的效果。
上線(xiàn)運行之后，我們還需要根據運營(yíng)的日志和客戶(hù)的行為，再迭代模型，這是一個(gè)閉環(huán)。而不是說(shuō)不結合實(shí)際場(chǎng)景，把模型訓練好后直接投入使用，然后就不管了，不是這回事，需要根據運營(yíng)的數據，不斷調優(yōu)迭代。
AI科技大本營(yíng)：模型可控性的問(wèn)題怎么解決？
李波：比如我們幫客戶(hù)做的智能客服機器人，主要依靠混合模型引擎來(lái)達到可控的目的。另外也可以通過(guò)一些工程化手段來(lái)做到可控，如在問(wèn)答中涉及到一些敏感的內容，我們可以通過(guò)前處理、后處理等方式及時(shí)干預，而無(wú)需更新模型、重啟系統。在用戶(hù)真實(shí)的使用過(guò)程中發(fā)現問(wèn)題時(shí)，我們需要有渠道、有方法控制系統的輸出，甚至邏輯，保證系統是可控的。
AI科技大本營(yíng)：哪些方法可以使它可控？
李波：我們的混合模型引擎包含兩種模型，一個(gè)是黑盒子，就是深度學(xué)習模型，另一個(gè)是語(yǔ)義理解模型，基于傳統的語(yǔ)義表達式，可以用來(lái)做干預。語(yǔ)義理解模型可以直接通過(guò)語(yǔ)義表達式來(lái)進(jìn)行更改，而深度學(xué)習模型想要干預則必須重新訓練。因此我們可以讓深度學(xué)習模型和語(yǔ)義理解模型同時(shí)作用，然后調整深度學(xué)習模型和語(yǔ)義理解模型的輸出策略（如優(yōu)先級策略等）來(lái)調優(yōu)。
小i機器人如何收集數據？
AI科技大本營(yíng)：小i機器人是如何積累數據的？
李波：主要是三個(gè)方面：第一，我們會(huì )通過(guò)爬蟲(chóng)去爬取相關(guān)的行業(yè)數據。第二，我們的云端產(chǎn)品產(chǎn)生的日志數據，會(huì )直接收集到我們的數據平臺里。第三，客戶(hù)提供的素材，我們會(huì )把它轉化成數據和知識。
AI科技大本營(yíng)：數據收集之后怎么處理？
李波：非結構化數據：首先我們會(huì )對收集到數據進(jìn)行數據清洗，然后再按照知識的分類(lèi)通過(guò)機器+人工方式將其歸類(lèi)，再通過(guò)一些手段（如規則等）做一些粗顆粒度的標注，之后由人工確認，確認完后入庫。
半結構化數據：客戶(hù)提供的原始帶格式文檔，通過(guò)格式規則分析或者機器學(xué)習模型等手段來(lái)進(jìn)行分類(lèi)或者聚類(lèi)等輔助處理，然后再進(jìn)行人工梳理，最后入庫。
AI科技大本營(yíng)：數據的處理靠機器和人工的結合？
李波：機器做前期輔助，人工做最終的確認，而不是機器處理之后直接入庫。小i有一個(gè)大的數據平臺和一個(gè)標注系統，還有一個(gè)實(shí)驗室系統，共同運作來(lái)產(chǎn)生這些行業(yè)訓練數據以及行業(yè)背景知識，然后以領(lǐng)域語(yǔ)義庫的形式部署到實(shí)際系統中。
小i機器人如何賦能開(kāi)發(fā)者？
AI科技大本營(yíng)：現在有很多平臺和工具可以幫助開(kāi)發(fā)者去降低門(mén)檻，據我所知，小i最近也推出了新一代智能Bot開(kāi)放平臺，這個(gè)平臺能給開(kāi)發(fā)者帶來(lái)什么？
李波：幫助中小企業(yè)或者開(kāi)發(fā)者快速打造一個(gè)適應各種實(shí)際場(chǎng)景的AI系統。第一個(gè)落地的場(chǎng)景是智能客服，以問(wèn)答能力為主，降低人工客服的成本。第二個(gè)應用場(chǎng)景是智能營(yíng)銷(xiāo)，以營(yíng)銷(xiāo)推薦為主，包括用戶(hù)畫(huà)像等，我們會(huì )在后期推出。第三個(gè)應用場(chǎng)景是智能外呼。后續我們還會(huì )推出更多的場(chǎng)景。開(kāi)發(fā)者不僅可以直接使用這些場(chǎng)景，還可以基于每個(gè)場(chǎng)景的API來(lái)擴充應用的能力。
AI科技大本營(yíng)：因為現在有各種各樣的平臺和工具，假設我是個(gè)新手，我就做一個(gè)小項目練練手，應該怎么做？
李波：這個(gè)平臺的目的是降低開(kāi)發(fā)者的門(mén)檻。開(kāi)發(fā)者如果是自己收集數據，然后訓練模型，開(kāi)發(fā)周期很長(cháng)，而且有很多的坑要趟。我們的這個(gè)平臺有兩個(gè)目標，第一，讓用戶(hù)可以直接使用；第二個(gè)，開(kāi)發(fā)者可以基于這個(gè)平臺擴充自己的能力。
使用我們的平臺，開(kāi)發(fā)者需要提供的數據只是問(wèn)答的基本意圖點(diǎn)，我們在底層有領(lǐng)域語(yǔ)義庫做支撐，我們會(huì )自動(dòng)在詞的層面，在句法層面幫你擴充數據集，然后自動(dòng)幫你去訓練。
AI科技大本營(yíng)：關(guān)于NLP技術(shù)的工程實(shí)踐，您對開(kāi)發(fā)者有什么建議嗎？
李波：針對NLP的開(kāi)發(fā)者有幾點(diǎn)建議：首先，你要對相關(guān)技術(shù)有全面的了解，不一定要特別細化，這樣對開(kāi)發(fā)會(huì )有幫助；第二，一定要明確你的輸入和輸出；最后，開(kāi)發(fā)者要更多地關(guān)注產(chǎn)品體驗。
AI科技大本營(yíng)：最后，您平時(shí)都是怎樣自我學(xué)習的，有哪些經(jīng)驗可以分享下嗎？
李波：互聯(lián)網(wǎng)是一個(gè)非常好的渠道，我比較喜歡“碰到問(wèn)題后在解決問(wèn)題的過(guò)程中學(xué)習“的方式。如果你只是通過(guò)書(shū)本去學(xué)習，而忽略實(shí)踐，就會(huì )比較虛。因此要結合實(shí)踐，哪怕是做一些Demo嘗試也可以。在嘗試過(guò)程中遇到問(wèn)題，然后通過(guò)各種方式去獲取答案，而不是像學(xué)校里的傳統方式去學(xué)習。
