
雖然人類(lèi)語(yǔ)言對孩子來(lái)說(shuō)很容易掌握,但即使是最先進(jìn)的機器,這也極其復雜,教人工智能理解人類(lèi)意圖最具挑戰性的工作是它需要大量的數據、大量的時(shí)間和專(zhuān)業(yè)知識。
當您問(wèn)問(wèn)題時(shí),您到底想說(shuō)什么?您想達到什么目標?您到底想得到什么信息?人類(lèi)的語(yǔ)言充滿(mǎn)了細微的差別,導致有很多方式來(lái)表達特定的意圖。對于聊天機器人等大部分人工智能而言,這的確是個(gè)問(wèn)題,當遇到復雜的語(yǔ)法時(shí),它們會(huì )出錯,因為它們只關(guān)注具體的單詞,而不會(huì )聯(lián)系更廣泛的上下文語(yǔ)境。
了解Watson Assistant新的增強功能,看看我們自然語(yǔ)言理解新模型是怎樣脫穎而出的。
為了幫助企業(yè)應對這一挑戰,IBM在IBM Watson Assistant中推出了改進(jìn)后的自然語(yǔ)言理解(Natural Language Understanding,NLU)新模型,用于意圖分類(lèi)。在基準測試中,與商業(yè)方案相比,新的意圖檢測算法更為準確。[1]
IBM研究院不斷改進(jìn)自然語(yǔ)言處理功能,并融入到IBM Watson中。
此外,我們還在IBM Watson Assistant和Watson Discovery中引入了新的自然語(yǔ)言處理增強功能,目前已經(jīng)提供beta版。這些新功能是在IBM研究院(IBM Research)的帶領(lǐng)下開(kāi)發(fā)的,目的是提高人工智能的自動(dòng)化程度,以及自然語(yǔ)言處理的精度。
閱讀理解能力(Reading Comprehension)這一功能,它返回包含在較長(cháng)段落中的具體事實(shí)或者簡(jiǎn)短答案。目前,Watson Discovery能夠確定與查詢(xún)相對應的最佳“段落”。閱讀理解從企業(yè)文檔集中檢索大量候選段落,搜索當前問(wèn)題的答案并返回相應的答案。閱讀理解應用上下文情景理解功能來(lái)理解查詢(xún),利用大量的語(yǔ)言模型從當前的文檔中提取出具體的答案,然后用戶(hù)會(huì )收到一個(gè)信心分數,該分數表示系統對每個(gè)答案的置信度。
這種功能非常適合金融行業(yè)的組織。例如,如果您正要做出放貸決定,可能需要從復雜的文檔中找出準確的事實(shí),這些文檔通常是由人工進(jìn)行閱讀和審查的。之前,WatsonDiscovery會(huì )返回建議的段落。而采用閱讀理解,用戶(hù)將得到準確的答案(例如,“當前貸款的利率是多少?”“2.9%”),這節省了他們手動(dòng)搜索大量文檔的時(shí)間。此功能現已在beta版中開(kāi)放給部分Watson Discovery用戶(hù)。
FAQ提取(FAQ Extraction)目前提供beta版,是一種新穎的答案檢索技術(shù),它在網(wǎng)頁(yè)上爬行以檢測常見(jiàn)問(wèn)題和問(wèn)答,使用這些內容通過(guò)Watson Assistant提供簡(jiǎn)潔、最新的答案。
FAQ提取旨在與Watson Assistant的Search Skill協(xié)同工作,在文檔中尋找最終用戶(hù)問(wèn)題的答案。這種功能使得最終用戶(hù)在與人工智能虛擬坐席交互時(shí)更容易找到他們需要的答案。
例如,企業(yè)可能很難跟上不斷變化的公共指導,即允許重返工作場(chǎng)所或者實(shí)體店重開(kāi)的規定。如果沒(méi)有FAQ提取這樣的機制,將需要大量的資源才能使人工智能客服解決方案保持最新?tīng)顟B(tài)。相反,WatsonAssistant只需知道官方FAQ內容的URL就能跟上最新信息。
探索Watson Discovery和Assistant中的自然語(yǔ)言處理新功能。
最后,Watson NLP解決方案現在還支持10種其他語(yǔ)言。IBMWatson Discovery現在支持波斯尼亞語(yǔ)(Bosnian)、克羅地亞語(yǔ)(Croatian)、丹麥語(yǔ)(Danish)、芬蘭語(yǔ)(Finnish)、希伯來(lái)語(yǔ)(Hebrew)、印地語(yǔ)(Hindi)、挪威語(yǔ)(Bokm?l)、挪威語(yǔ)(Nynorsk)、塞爾維亞語(yǔ)(Serbian)和瑞典語(yǔ)(Swedish)。而Watson自然語(yǔ)言理解(NLU)現在支持丹麥語(yǔ)(Danish)、挪威語(yǔ)(Bokm?l)、挪威語(yǔ)(Nynorsk)、芬蘭語(yǔ)(Finnish)、捷克語(yǔ)(Czech)、希伯來(lái)語(yǔ)(Hebrew)、波蘭語(yǔ)(Polish)和斯洛伐克語(yǔ)(Slovak)(關(guān)鍵字)。
這些進(jìn)步基于IBM研究院的自然語(yǔ)言處理創(chuàng )新渠道。今年年初,我們宣布將采用一些為IBM研究院ProjectDebater提供支持的核心自然語(yǔ)言處理技術(shù),包括高級情緒分析(習慣用語(yǔ)理解)、總結、主題聚類(lèi)和關(guān)鍵點(diǎn)分析等,并在WatsonDiscovery等IBM的自然語(yǔ)言處理產(chǎn)品中實(shí)現了商業(yè)化。
這些創(chuàng )新可以幫助企業(yè)進(jìn)一步理解并從其業(yè)務(wù)數據中獲取真正的價(jià)值,從而能夠做出更明智的決策,并為客戶(hù)和員工提供更高效的深度見(jiàn)解。
有關(guān)IBM未來(lái)方向和意圖的聲明僅為了說(shuō)明目標和目的,如有更改或者撤回,恕不另行通知。
[1]2020年11月,對話(huà)型人工智能軟件公司Jio Haptik科技發(fā)表了一篇技術(shù)論文,將其產(chǎn)品的性能與谷歌、微軟和RASA的同類(lèi)產(chǎn)品進(jìn)行了比較。除了IBM Watson Assistant之外,其他商業(yè)解決方案的性能取自Arora等公司進(jìn)行的2020基準測試研究。IBM在IBMWatsonAssistant上運行了與Arora等公司報告的相同的性能測試,目的是用于本分析。可在下面的技術(shù)文件中找到IBM的全部結果:
https://arxiv.org/pdf/2012.03929.pdf