首頁(yè) > 目前主要的對(duì)話管理的控制策略大概有三種，包括基于有限狀態(tài)機(jī)(finite-state based)、基于框架(frame based)以及基于代理(agent based)的控制策略。
在總結(jié)了前人工作經(jīng)驗(yàn)和結(jié)合本系統(tǒng)的實(shí)際問題的基礎(chǔ)上，我們?cè)趯?duì)話管理的具體實(shí)現(xiàn)上，將框架理論和有限狀態(tài)自動(dòng)機(jī)理論相結(jié)合，完成了一個(gè)智能的對(duì)話管理模塊。我們先將對(duì)話管理限制在天氣查詢領(lǐng)域。在系統(tǒng)中，通過人機(jī)之間的對(duì)話和確認(rèn)，系統(tǒng)需要得到要查詢的時(shí)間和地點(diǎn)信息之后反饋查詢結(jié)果。
我們?yōu)樾枰玫降男畔⑾仍O(shè)計(jì)了一個(gè)槽結(jié)構(gòu)如下: Slot_name表示槽名，在本系統(tǒng)中就是City和Date。Slot_value 指示該項(xiàng)信息是否已經(jīng)得到，所以有2個(gè)狀態(tài): Known 和Unkown。
圖3中，初始狀態(tài)為Unknown，當(dāng)收到用戶提供的信息時(shí)，槽狀態(tài)轉(zhuǎn)化為Known，即為終止?fàn)顟B(tài)。當(dāng)再收到用戶的信息時(shí)，槽狀態(tài)不變，只是具體的槽值發(fā)生了變化。
根據(jù)系統(tǒng)的實(shí)際需求，同時(shí)考慮到系統(tǒng)的靈活性和魯棒性，我們?cè)O(shè)計(jì)了如下的狀態(tài)轉(zhuǎn)移過程: S0為系統(tǒng)的初始狀態(tài)，S3為系統(tǒng)的終止?fàn)顟B(tài)。狀態(tài)轉(zhuǎn)換過程中的轉(zhuǎn)換條件，是信息融合的結(jié)果，不僅僅是語(yǔ)音信號(hào)的信息，也包含了圖像的信息。
多模態(tài)融合
所謂多模態(tài)融合就是將電腦“看到”和“聽到”的信息都考慮進(jìn)來，幫助理解說話人真正的意圖。在語(yǔ)音識(shí)別中加入語(yǔ)法后大大提高了語(yǔ)音識(shí)別的準(zhǔn)確率，而人臉跟蹤模塊能夠得到現(xiàn)有人臉的絕對(duì)位置和特征點(diǎn)的相對(duì)位置，知道人臉絕對(duì)位置的變化可以幫助判斷點(diǎn)頭、搖頭的動(dòng)作，而利用特征點(diǎn)的相對(duì)位置信息可以知道說話人的情感狀態(tài)信息，在我們的系統(tǒng)中主要用到了點(diǎn)頭、搖頭信息和“厭惡”，“高興”2種情感狀態(tài)來判斷對(duì)電腦提出問題的確認(rèn)和人是否對(duì)電腦的回答表示滿意。在今后的工作中，我們可以考慮結(jié)合語(yǔ)音分析的結(jié)果，利用雙模態(tài)的信息，提高情感識(shí)別的準(zhǔn)確性和魯棒性。
