目前智能語(yǔ)音具備兼顧老人、兒童以及地方方言的能力，語(yǔ)音與視覺(jué)，觸屏，LCD反饋顯示結合的交互體驗，令交互門(mén)檻的不斷降低。國內專(zhuān)業(yè)的對話(huà)式AI企業(yè)思必馳，結合全鏈路語(yǔ)音交互技術(shù)及自研計算機視覺(jué)技術(shù)推出多模態(tài)交互技術(shù)方案，落地白電、黑電智能終端，滿(mǎn)足用戶(hù)智能化需求。

　　機器能夠聽(tīng)懂人類(lèi)說(shuō)話(huà)，產(chǎn)生對話(huà)并提供服務(wù)，大大增強了物聯(lián)網(wǎng)設備實(shí)際使用價(jià)值。越來(lái)越多搭載語(yǔ)音交互平臺，能夠實(shí)現對話(huà)的物聯(lián)網(wǎng)設備，從電視、冰箱到家居設備，各種終端不勝枚舉。

　　在實(shí)踐過(guò)程中發(fā)現，語(yǔ)音交互的物聯(lián)網(wǎng)設備缺乏主動(dòng)服務(wù)的能力，只是換了操作方式，用戶(hù)體驗沒(méi)有本質(zhì)提升。這種缺乏主動(dòng)服務(wù)的人機關(guān)系怎么改變呢？

　　答案也許是讓機器除了能聽(tīng)和說(shuō)之外，還要能看，能感覺(jué)，能將五感聯(lián)系到一起進(jìn)行思考。

　　在智能語(yǔ)音交互發(fā)展的過(guò)程中，多模態(tài)交互是一個(gè)必經(jīng)階段。擁有各種傳感器的智能設備，除了能聽(tīng)（耳）會(huì )說(shuō)（嘴），同時(shí)還利用攝像頭（眼）觀(guān)察、底盤(pán)云臺（腳）移動(dòng)等，從而全面的理解用戶(hù)、與用戶(hù)進(jìn)行溝通，從而滿(mǎn)足用戶(hù)的需求。

　　這個(gè)交互過(guò)程模擬了人與人之間的交互方式，使交互更自然、更切合用戶(hù)意圖。這一交互方式打破了傳統的鍵盤(pán)輸入和智能手機的點(diǎn)觸式交互方式，符合“機器人”類(lèi)產(chǎn)品的形態(tài)特點(diǎn)和用戶(hù)期待，定義了下一代智能產(chǎn)品和人的專(zhuān)屬交互模式。

　　智能經(jīng)濟時(shí)代，人機交互將全面智能化并帶來(lái)一系列的深度變革。需要不斷升級產(chǎn)品、內容、服務(wù)，才能更好地適應用戶(hù)在未來(lái)智能化終端上的需求和習慣。

　　思必馳作為國內專(zhuān)業(yè)的對話(huà)式人工智能平臺公司，從信號處理、識別到理解到交互，思必馳擁有全面的智能語(yǔ)音語(yǔ)言技術(shù)。思必馳多模態(tài)交互技術(shù)的應用，主要為以下三個(gè)方面：

　　根據視覺(jué)和音頻特征，通過(guò)多模態(tài)融合的方式識別出說(shuō)話(huà)人的語(yǔ)音內容，拒識其他說(shuō)話(huà)人的聲音，從而實(shí)現輔助降噪、拒識；

　　人臉識別：人臉關(guān)鍵點(diǎn)、頭部姿態(tài)角、人臉與攝像頭距離角度、性別、年齡、口罩等；

　　人臉對比：首先進(jìn)行人臉注冊，提取注冊人臉的特征；對需要對比的人臉提取特征，并與注冊的人臉特征進(jìn)行對比，識別出該人臉是否注冊及其FaceID；

　　當用戶(hù)說(shuō)了一天的話(huà)，坐在沙發(fā)上想看個(gè)電視卻找不到遙控器換臺，他抬手在面板前，用手勢切換臺；用戶(hù)在聽(tīng)音樂(lè )，此時(shí)電話(huà)來(lái)了，他用手勢示意面板將音樂(lè )暫停。

　　依托智能語(yǔ)音行業(yè)深耕多年的經(jīng)驗及關(guān)鍵技術(shù)優(yōu)勢，結合全鏈路語(yǔ)音交互技術(shù)及自研計算機視覺(jué)技術(shù)，思必馳的多模態(tài)交互技術(shù)方案已經(jīng)落地眾多智能終端產(chǎn)品，滿(mǎn)足用戶(hù)智能化需求。

　　智能家居領(lǐng)域，針對空調、冰箱、爐灶等白電產(chǎn)品，思必馳推出智能白電AI交互解決方案。根據智能白電的不同組網(wǎng)模式（中控/分布式/單機），思必馳提供正面喚醒、就近喚醒、語(yǔ)義喚醒以及多模態(tài)綜合喚醒方案。

　　黑電領(lǐng)域，智能電視作為「客廳經(jīng)濟」中的核心代表產(chǎn)品，占據客廳場(chǎng)景最大的流量入口。思必馳為智能電視打造流暢自然的語(yǔ)音入口+輸出，同時(shí)背靠DUI平臺，打通了超過(guò)300家第三方資源接口，為用戶(hù)提供全屋家居控制、交通出行、新聞資訊、生活娛樂(lè )等各領(lǐng)域內容服務(wù)。

　　針對周邊嘈雜干擾大、多人密集同時(shí)交互的情況，比如多位用戶(hù)在激烈的玩電子游戲、親朋好友聚會(huì )等。思必馳多模態(tài)交互技術(shù)方案，根據視覺(jué)和音頻特征，通過(guò)多模態(tài)融合VAD分離出說(shuō)話(huà)人的目標語(yǔ)音，拒識其他說(shuō)話(huà)人的聲音，實(shí)現輔助降噪、提高聲源定位的精準度，即使說(shuō)話(huà)人在移動(dòng)狀態(tài)下也不受影響。

　　另外，思必馳多模態(tài)交互技術(shù)方案還可以應用在會(huì )議大屏、商場(chǎng)顯示大屏、地鐵購票機等商用帶屏顯示設備中，目前此技術(shù)已在全國多個(gè)地區地鐵的購票設備中落地。

　　隨著(zhù)思必馳旗下深聰智能第二代AI芯片發(fā)布，思必馳在多模態(tài)方面的演進(jìn)路線(xiàn)更加明朗。語(yǔ)音、圖像、手勢等交互方式的交融能夠極大程度降低用戶(hù)的AI體驗門(mén)檻，未來(lái)，思必馳將繼續發(fā)揮優(yōu)勢并持續打造更多滿(mǎn)足AI應用場(chǎng)景的產(chǎn)品，為智能經(jīng)濟時(shí)代提供向上引擎。