ESIM模型在智能客服、導航軟件、智能音箱等場(chǎng)景均具有廣泛的應用前景。阿里AI發(fā)布了相關(guān)論文介紹了該模型，雷鋒網(wǎng)AI科技評論將其編譯如下。

　　極具潛力和商業(yè)價(jià)值的人機對話(huà)系統正在受到越來(lái)越多的關(guān)注。隨著(zhù)近來(lái)深度學(xué)習模型的引入，我們在構建端到端的對話(huà)系統過(guò)程中有了更高的成功幾率。然而這一對話(huà)系統的構建仍然充滿(mǎn)了挑戰，它要求系統記憶并理解多輪對話(huà)文本，而不是像單輪對話(huà)系統那樣僅僅考慮當前的話(huà)語(yǔ)內容。

　　多輪對話(huà)系統建模可分為基于生成文本的方法和基于檢索的方法。基于檢索的方法將從多輪對話(huà)的候選池中選擇最佳回復，該方法可視為對多輪回復文本選擇任務(wù)的執行。選擇回復文本的典型方法主要包括基于序列的方法和基于層級信息的方法。基于序列的方法通常將對話(huà)連接成一個(gè)長(cháng)序列，而基于層級信息的方法通常會(huì )分別對每個(gè)對話(huà)文本進(jìn)行建模，然后再對話(huà)語(yǔ)之間的交互進(jìn)行建模。

　　最近，有研究工作稱(chēng)基于層級信息的方法與復雜神經(jīng)網(wǎng)絡(luò )結合可以實(shí)現比基于序列方法更顯著(zhù)的增益效果。但在本文中，我們依然選擇研究基于序列的方法即增強序列推理模型(ESIM)的有效性，該模型最初是為了自然語(yǔ)言推理(NLI)任務(wù)而開(kāi)發(fā)。

　　在DSTC7對話(huà)回復選擇挑戰賽中，我們的模型在兩個(gè)數據集(即Advising和Ubuntu數據集)中都排名第一。除此之外，我們的模型在兩個(gè)大型公共基準數據集(LowesUbuntu)上都比以前所有模型的效果更好，其中也包括上面所提到的最先進(jìn)的基于層級信息的模型。我們的開(kāi)源代碼可在https://github.com/alibaba/ESIM上獲得。

　　基于層級信息的方法通常會(huì )使用額外的神經(jīng)網(wǎng)絡(luò )來(lái)對多輪對話(huà)之間的關(guān)系進(jìn)行模擬，該方法需要將多輪對話(huà)中的文本進(jìn)行分段截取，使其具有相同的長(cháng)度并且短于最大長(cháng)度。然而，每輪對話(huà)的長(cháng)度通常在實(shí)際任務(wù)中會(huì )有很大的變化，當使用較大的最大長(cháng)度值時(shí)，我們則需要在基于層級信息的方法中添加大量的0進(jìn)行填充，這將極大地增加計算復雜性和內存成本；而當使用較小的最大長(cháng)度時(shí)，我們則可能在多輪對話(huà)環(huán)境中丟失一些重要信息。

　　我們建議在多輪對話(huà)回復選擇任務(wù)中使用基于序列的ESIM模型來(lái)有效地解決基于層級信息方法所遇到的上述問(wèn)題。該方法將多輪對話(huà)內容連接成一個(gè)長(cháng)序列，并將多輪對話(huà)回復選擇任務(wù)轉換為一個(gè)句子對的二進(jìn)制分類(lèi)(即下一個(gè)句子是否是當前對話(huà)的回復)任務(wù)。

　　與基于層級信息的方法相比，ESIM有兩個(gè)主要優(yōu)點(diǎn)。首先，由于ESIM不需要使每個(gè)話(huà)語(yǔ)具有相同的長(cháng)度，因此它具有較少的零填充，可以比基于層級信息的方法更具計算效率。其次，ESIM以一種有效的方式隱式地模擬對話(huà)中話(huà)語(yǔ)之間的交互，而并沒(méi)有使用額外復雜的網(wǎng)絡(luò )結構，詳情如下文中「模型說(shuō)明」部分所述。

　　對話(huà)系統技術(shù)挑戰賽(DSTC7)劃分了三個(gè)不同的賽道，而我們提出的方法則是針對「端到端的回復選擇」主題的賽道。該賽道側重于面向目標的多輪對話(huà)，著(zhù)重于從一組對話(huà)候選文本中選擇正確的回復。參與該賽道的比賽系統不能使用基于人工數據或基于規則的數據，而需要使用比賽方提供的Ubuntu和Advising這兩個(gè)數據集，這些在「實(shí)驗部分」我們會(huì )做詳細的介紹。