遠傳科技一直高度重視產(chǎn)品技術(shù)創(chuàng )新，擴建科研隊伍，加大研發(fā)投入。憑借精準的研發(fā)投入和雄厚的技術(shù)沉淀，迄今為止，遠傳科技已獲得專(zhuān)利及知識產(chǎn)權相關(guān)證書(shū)105項，成績(jì)斐然。
遠傳科技始終堅持創(chuàng )新驅動(dòng)發(fā)展的原則，將產(chǎn)品創(chuàng )新與實(shí)際應用緊密結合，聚焦在自然語(yǔ)言處理（NLP）、深度學(xué)習、知識圖譜、數據挖掘等核心技術(shù)領(lǐng)域。
今天我們來(lái)講講其中一項發(fā)明專(zhuān)利：《文本相似度模型的訓練方法、系統、裝置和介質(zhì)》。
文本相似度，顧名思義是指兩個(gè)文本（文章）之間的相似度，相似程度的評價(jià)有很多角度：?jiǎn)渭兊淖置嫦嗨贫龋ɡ纾何液退?v.s. 我和她），語(yǔ)義的相似度（例如：爸爸 v.s. 父親）和風(fēng)格的相似度（例如：我喜歡你 v.s. 我好喜歡你耶）等等。
可以說(shuō)，文本相似度是自然語(yǔ)言處理（NLP）中必不可少的重要環(huán)節，幾乎所有NLP的領(lǐng)域都會(huì )涉及到！在搜索引擎、推薦系統、論文鑒定、機器翻譯、自動(dòng)應答、命名實(shí)體識別、拼寫(xiě)糾錯等領(lǐng)域有廣泛的應用。
雖然已有布爾模型、概率模型、向量空間模型等文本表示模型，相似度度量及距離度量等相似度計算方法，但在效率及性能等方面還存在一些無(wú)法忽視的問(wèn)題，比如：這些模型存在無(wú)法表現特征項的出現順序、向量維度高、計算效率低和模型魯棒性差等問(wèn)題。傳統算法無(wú)法識別意思相似或者相關(guān)的詞語(yǔ)，而且文本中的核心關(guān)鍵詞的重要程度與其他非關(guān)鍵詞重要程度一樣，這些都對文本相似度準確率的提高造成了很大的困擾。
遠傳科技提供的文本相似度模型的訓練方法、系統、裝置和介質(zhì)，通過(guò)對訓練語(yǔ)料進(jìn)行劃分，得到訓練集、特征向量、重要性特征、訓練數據的完全特征表示、噪音數據的完全特征表示、輸入特征向量，基于輸入特征向量完成文本相似度模型的訓練。解決了文本相似度計算存在的準確率低和魯棒性差的問(wèn)題，實(shí)現了利用對抗的思想，將噪音數據的特征融入訓練數據中來(lái)擾動(dòng)訓練數據的擬合，進(jìn)一步結合特征向量和重要性特征，提高了文本相似度模型的的魯棒性和準確率。從而解決相關(guān)技術(shù)中文本相似度計算存在的準確率低和魯棒性差的問(wèn)題。
文本相似度模型發(fā)明專(zhuān)利的取得，有利于遠傳科技持續推動(dòng)自然語(yǔ)言研發(fā)生產(chǎn)，提升產(chǎn)品的技術(shù)含量，鞏固公司在智能交互行業(yè)領(lǐng)域內的知識產(chǎn)權競爭優(yōu)勢，增強核心競爭力。
