摘要顯示，本公開涉及一種多模態(tài)對(duì)話方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。本公開通過(guò)獲取與同一問題關(guān)聯(lián)的多模態(tài)信息，對(duì)所述多模態(tài)信息進(jìn)行意圖識(shí)別，得到意圖信息，并對(duì)所述多模態(tài)信息進(jìn)行槽位識(shí)別，得到一個(gè)或多個(gè)槽位值。

　　然后，根據(jù)所述意圖信息和所述一個(gè)或多個(gè)槽位值，生成該多模態(tài)信息對(duì)應(yīng)的一個(gè)或多個(gè)回復(fù)信息。使得用戶可以通過(guò)多種模態(tài)信息對(duì)同一問題和該問題針對(duì)的目標(biāo)對(duì)象進(jìn)行描述，使得人機(jī)對(duì)話系統(tǒng)可以從多個(gè)模態(tài)理解同一問題，并針對(duì)同一問題生成一個(gè)或多個(gè)回復(fù)信息，如果是多個(gè)回復(fù)信息，則多個(gè)回復(fù)信息的模態(tài)不同，從而實(shí)現(xiàn)了多模態(tài)對(duì)話，使得用戶和人機(jī)對(duì)話系統(tǒng)之間的對(duì)話方式靈活多樣，提高了用戶體驗(yàn)。

　　根據(jù)此前報(bào)道，阿里達(dá)摩院正在研發(fā)類 ChatGPT 的對(duì)話機(jī)器人，已開放給公司內(nèi)員工測(cè)試。從曝光截圖來(lái)看，阿里巴巴可能將 AI 大模型技術(shù)與釘釘生產(chǎn)力工具深度結(jié)合。阿里方面回應(yīng)表示，確實(shí)在研發(fā)中，目前處于內(nèi)測(cè)階段。