《MOSS:End-to-End Dialog System Framework with Modular Supervision》是小i機器人研究院團隊與加州大學(xué)戴維斯分校聯(lián)合發(fā)表的一篇關(guān)于面向任務(wù)型對話(huà)的論文。MOSS（模塊化監督網(wǎng)絡(luò )）是一個(gè)End-to-End的Encoder-Decoder訓練框架，整合了來(lái)自中間對話(huà)系統中的各種有監督模塊，包括自然語(yǔ)言理解、對話(huà)狀態(tài)跟蹤、對話(huà)策略學(xué)習和自然語(yǔ)言生成。由于缺乏數據是訓練端到端面向任務(wù)的對話(huà)系統的主要瓶頸，MOSS更有效地利用有限的培訓數據，在只有60%的訓練數據條件下，讓CamRest676任務(wù)達到了最先進(jìn)的水平。在只有40%的訓練數據條件下，讓復雜的筆記本電腦網(wǎng)絡(luò )故障排除數據集（LaptopNetwork）任務(wù)達到了最先進(jìn)的水平。此外，MOSS也是一個(gè)靈活的框架，可以去掉一些模塊的監督學(xué)習，是一個(gè)可插拔使用的模型。

　　論文提出了遵循模塊化系統的思路，在一個(gè)端到端的可訓練框架中，為每個(gè)對話(huà)模塊注入豐富的監督。在MOSS框架下，諸如自然語(yǔ)言理解、對話(huà)狀態(tài)跟蹤、對話(huà)策略學(xué)習和自然語(yǔ)言生成等對話(huà)模塊共享一個(gè)編碼器，但分別有各自的解碼器。不同模塊的解碼器通過(guò)隱藏狀態(tài)連接，而不是通過(guò)符號輸出。然后對各模塊進(jìn)行聯(lián)合優(yōu)化，避免誤差傳播和模型失配。此外，由于MOSS在測試過(guò)程中會(huì )產(chǎn)生單個(gè)模塊的輸出，所以可以通過(guò)檢查模塊輸出來(lái)輕松定位錯誤。

　　值得一提的是，該入選論文中還首次發(fā)表了LaptopNetwork——由小i機器人研究院團隊與加州大學(xué)戴維斯分校共同收集整理的一個(gè)真實(shí)的筆記本電腦網(wǎng)絡(luò )故障排除的中文任務(wù)。LaptopNetwork數據集收集來(lái)自于一個(gè)在線(xiàn)打字的售后服務(wù)平臺，它涉及到有技術(shù)問(wèn)題的真實(shí)客戶(hù)和專(zhuān)業(yè)的電腦維護工程師，因此更加真實(shí)。在LaptopNetwork中，工程師可能會(huì )根據客戶(hù)的反饋給出不同的解決方案。LaptopNetwork有來(lái)自97名工程師的618個(gè)對話(huà)，每個(gè)對話(huà)平均14.76個(gè)回合，每個(gè)話(huà)語(yǔ)平均有51.67個(gè)漢字，每個(gè)對話(huà)平均耗時(shí)985.82秒。為L(cháng)aptopNetwork開(kāi)發(fā)一個(gè)注釋方案是很有挑戰性的，因為對話(huà)框中充滿(mǎn)了諸如“網(wǎng)絡(luò )適配器”和“網(wǎng)絡(luò )編程接口”之類(lèi)的計算機維護術(shù)語(yǔ)，這些術(shù)語(yǔ)對于初學(xué)者來(lái)說(shuō)很難理解。論文最后確定了60種不同的對話(huà)行為，其中12種是與網(wǎng)絡(luò )解決方案相關(guān)的對話(huà)行為。與CamRest676這類(lèi)只有請求和提供信息兩種對話(huà)行為的信息查詢(xún)任務(wù)相比，論文提出的網(wǎng)絡(luò )故障排除任務(wù)要復雜得多。

　　通過(guò)論文的實(shí)驗結果表明，當對話(huà)任務(wù)具有更復雜的對話(huà)狀態(tài)和操作空間時(shí)，引入模塊化監控會(huì )帶來(lái)更大的好處。如圖所示，在只有40%的訓練數據的情況下，MOSS-all在所有指標上都優(yōu)于TSCP。