
晉耀紅
神州泰岳人工智能研究院院長(cháng)兼首席科學(xué)家,博士生導師,中國計算機學(xué)會(huì )中文信息技術(shù)專(zhuān)委會(huì )專(zhuān)委,中國人工智能學(xué)會(huì )自然語(yǔ)言處理專(zhuān)委會(huì )專(zhuān)委。師從中國自然語(yǔ)言處理著(zhù)名流派概念層次網(wǎng)絡(luò )(HNC)的創(chuàng )始人黃曾陽(yáng)教授并于2006年出版專(zhuān)著(zhù)《HNC(概念層次網(wǎng)絡(luò ))語(yǔ)言理解技術(shù)及其應用》。國家863十二五課題(2012~2015)“海量文本多層次知識表示及中文文本理解應用系統研制”的課題負責人。
“NLP是語(yǔ)言與計算結合的技術(shù)。”
自然語(yǔ)言處理(NLP)是人工智能和語(yǔ)言學(xué)的一部分,致力于使用計算機理解人類(lèi)語(yǔ)言中的句子或詞語(yǔ),實(shí)現降低用戶(hù)工作量并滿(mǎn)足使用自然語(yǔ)言進(jìn)行人機交互的目的。
語(yǔ)法、語(yǔ)義、語(yǔ)用一個(gè)都不能少
晉耀紅博士認為,在現階段自然語(yǔ)言處理存在重計算輕語(yǔ)言的傾向,這是比較片面的。因為NLP的研究對象是語(yǔ)言,所以不能脫離語(yǔ)言談NLP,而必須基于語(yǔ)言知識,同時(shí)利用計算機技術(shù)來(lái)進(jìn)行NLP的處理。
語(yǔ)法的作用
我打小明。
狼吃羊。
網(wǎng)易收購Daydream公司。
動(dòng)詞前面的主語(yǔ)是“我”、“狼”、“網(wǎng)易”是動(dòng)作的發(fā)出者,是施事,主語(yǔ)后的賓語(yǔ)“小明”、“羊”、“Daydream公司”是動(dòng)作的承受者,是受事。如果顛倒過(guò)來(lái),“小明打我”、“羊吃狼”、“Daydream公司收購網(wǎng)易”,那么意思就完全變了。
語(yǔ)序作為重要的語(yǔ)法手段,規定了誰(shuí)是動(dòng)作的實(shí)施者,誰(shuí)是動(dòng)作的承受者。
語(yǔ)義的作用
小鳥(niǎo)在天空中飛翔。
白菜在天空中飛翔。
第一個(gè)句子非常自然。而第二個(gè)句子雖然符合語(yǔ)法,卻讓人忍不住思考,在什么情況下,白菜才能在天上飛。這是因為“小鳥(niǎo)”在語(yǔ)義平面上具有“飛翔”的功能,而“白菜”不具備此功能。
語(yǔ)義歧義性是待攻克的難點(diǎn)。
語(yǔ)用的作用
有一個(gè)程序員出去買(mǎi)東西,妻子跟他說(shuō):“買(mǎi)五個(gè)桃子回來(lái),要是看見(jiàn)賣(mài)西瓜的,就買(mǎi)一個(gè)。”結果他買(mǎi)了一個(gè)桃子回來(lái)。妻子非常生氣。
在這個(gè)情景里面,妻子的意思是如果看見(jiàn)賣(mài)西瓜的,就買(mǎi)五個(gè)桃子一個(gè)西瓜。而丈夫誤解了妻子的意思。
誤解的產(chǎn)生及其原因是屬于語(yǔ)用平面的范疇。
晉博士談到,泰岳AI研究院在此方面投入了大量研究精力,最新推出的非結構化文本大數據分析挖掘平臺DINFO-OEC8.0,通過(guò)其獨有的專(zhuān)屬語(yǔ)義模型建設能力,能夠實(shí)現語(yǔ)義消歧、語(yǔ)義歸一化/概念化,可解決非結構化數據處理技術(shù)中語(yǔ)言表達靈活、多樣化的挑戰難題,精準挖掘業(yè)務(wù)語(yǔ)義,提煉非結構化數據中業(yè)務(wù)價(jià)值信息。
計算方法是語(yǔ)言知識量化的手段和溝通橋梁
晉博士認為,除了語(yǔ)言學(xué)知識,要對語(yǔ)言進(jìn)行全面分析,計算方法也必不可少,我們很長(cháng)時(shí)間內以傳統的統計學(xué)習方法為主,進(jìn)入21世紀以后,基于詞嵌入的深度學(xué)習方法進(jìn)入了人們的視線(xiàn)并且迅速掀起新的浪潮。不同于之前的統計學(xué)習,其訓練基于淺層的、高度稀疏的特征,并且高度依賴(lài)于人工對特征的選擇。深度學(xué)習方法是基于密集向量表征做多層級的自動(dòng)特征表征的學(xué)習,能夠實(shí)現對特征的自動(dòng)學(xué)習。正如DINFO-OEC8.0,我們集成統計學(xué)習、機器學(xué)習、深度學(xué)習等關(guān)鍵自然語(yǔ)言處理技術(shù),針對泰岳自主研發(fā)的專(zhuān)屬語(yǔ)義模型作了進(jìn)一步創(chuàng )新與改進(jìn),集成深度學(xué)習計算能力,實(shí)現平臺對大規模訓練語(yǔ)料的學(xué)習與預測。
晉博士談到,目前在圖像識別領(lǐng)域,深度學(xué)習的識別準確率達到、甚至超過(guò)了人類(lèi)水平;在語(yǔ)音識別領(lǐng)域,深度學(xué)習幫助語(yǔ)音識別從實(shí)驗室走向了商用。而在NLP領(lǐng)域,深度學(xué)習的應用尚未有重大突破,但在文本分類(lèi)、命名實(shí)體識別、詞義消歧、情感分析、機器翻譯領(lǐng)域,采用深度學(xué)習的應用均超過(guò)了當時(shí)的最優(yōu)方案,取得了不俗的成績(jì)。
語(yǔ)言與計算的有機結合是NLP達到實(shí)用目標的關(guān)鍵
在實(shí)際應用場(chǎng)景中,如客服熱點(diǎn)的自動(dòng)挖掘、企業(yè)關(guān)聯(lián)圖譜等,NLP的應用經(jīng)常是多個(gè)任務(wù)協(xié)同處理,共同輸出結果。如何將語(yǔ)言知識與計算方法有機組織到一起,如何將各個(gè)NLP任務(wù)有效結合,是NLP應用達到實(shí)用目標的關(guān)鍵所在。