SQuAD被譽(yù)為自然語(yǔ)言處理領(lǐng)域金字塔尖的比賽，旨在促進(jìn)智能搜索引擎的發(fā)展。國際機器閱讀理解評測SQuAD自2016年發(fā)布以來(lái)，便受到了業(yè)界的廣泛關(guān)注，共吸引了包括谷歌、微軟亞洲研究院、IBM研究院、阿里巴巴達摩院、上海交通大學(xué)等眾多國內外知名研究機構和高校的踴躍報名。

　　在SQuAD1.1數據集當中，閱讀理解的主要難點(diǎn)是上下文的語(yǔ)義理解。所提問(wèn)題的答案并不能靠簡(jiǎn)單的近鄰或相似度對答案進(jìn)行匹配，而是需要通過(guò)NLP的語(yǔ)義分析，在考慮前后文信息后從全文中尋找到最合適的答案位置。想要做好這一點(diǎn)，需要算法能力達到人類(lèi)閱讀理解的思考水平。

　　參賽者需要提交一個(gè)系統模型，該系統模型在閱讀完數據集中的一篇文章后，逐一回答若干個(gè)基于文章內容的問(wèn)題。然后，與人工標注的答案進(jìn)行比對，得出精確匹配（ExactMatch）和模糊匹配（F1-score）等相關(guān)評價(jià)指標。EM表示預測答案和真實(shí)答案完全匹配，而F1用來(lái)評測模型的整體性能的結果。

　　小i機器人研究院團隊在基于Whole Word Masking的BERT預訓練模型基礎之上，引入輔助任務(wù)如NewsQA等數據集，采用多任務(wù)學(xué)習的思路來(lái)改進(jìn)現有模型的效果，進(jìn)一步提升模型的最終預測評價(jià)指標（主要為ExactMatch和F1值）。小i機器人參賽模型在此次比賽中獲得EM指標（精準匹配率）達到88.650，F1指標（模糊匹配率）達到94.393的優(yōu)異成績(jì)。

　　具體地來(lái)說(shuō)，小i機器人研究院團隊針對目標任務(wù)和輔助任務(wù)中的問(wèn)題和答案的屬性和語(yǔ)義特征，來(lái)綜合判斷輔助任務(wù)中的數據樣本與目標任務(wù)中的數據樣本之間的相關(guān)性，最后將這個(gè)相關(guān)性指標引入到模型訓練過(guò)程中損失函數的計算過(guò)程中，以充分利用并學(xué)習到來(lái)自目標任務(wù)和有關(guān)輔助任務(wù)中的知識，從而最終提升模型的預測效果。

　　技術(shù)評測不只是“花拳繡腿”，能否將技術(shù)更好的應用到實(shí)際產(chǎn)品中才是評測的最終目的。此次小i機器人用以參賽模型的相關(guān)技術(shù)已被成熟運用于小i服務(wù)的數十個(gè)行業(yè)的有關(guān)產(chǎn)品和實(shí)際項目中，已實(shí)現可商業(yè)化可應用化。例如，小i在開(kāi)發(fā)的智能對話(huà)系統iBot平臺中，就融合了基于機器閱讀理解的DiscoveryBot能力，可用于解決系統未收錄的知識問(wèn)題的提問(wèn)。通過(guò)引入這一能力，可進(jìn)一步減少人力資源，不斷提升對話(huà)系統的回復準確率，同時(shí)輔助完善相關(guān)的問(wèn)答知識庫積累。

　　在比賽指標上超越人類(lèi)水平遠遠不是終點(diǎn)，人類(lèi)探索的腳步從未停止。小i機器人一直堅持“大腦”研發(fā)，專(zhuān)注于認知智能相關(guān)技術(shù)的自主研發(fā)和產(chǎn)業(yè)化應用，并用“智能+”賦能傳統行業(yè)AI升級，推動(dòng)人工智能產(chǎn)業(yè)化發(fā)展進(jìn)程。