本輪試評估將通過(guò)技術(shù)測試、材料審查和企業(yè)披露等方式對參測產(chǎn)品的基礎功能、業(yè)務(wù)能力和服務(wù)性能等指標進(jìn)行評測。竹間智能作為中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟成員，以“竹間疫情防控情感機器人”系統參與了本次首批測評，并在各項指標上均取得了不錯成績(jì)。
參評企業(yè)名單：
功能評測結果與分析
本輪評測系統測試了方言支持、結果報表、異常上報等7項基礎功能指標，測試了篩查、防控、回訪(fǎng)等5項業(yè)務(wù)功能指標。下圖給出了功能部分的評測結果，列出了參測產(chǎn)品對于各指標的支持情況：
圖1基礎功能測試結果
總體而言，參評產(chǎn)品在并發(fā)外呼、話(huà)術(shù)配置和結果報表等方面表現較好，主要有以下三個(gè)方面的特點(diǎn)：
系統對并發(fā)外呼的支持充分保證了呼叫效率，多數參評產(chǎn)品并發(fā)能力超過(guò)1000;
話(huà)術(shù)配置具備多樣性，使得疫情防控機器人的使用場(chǎng)景更為豐富;
結果報表支持實(shí)時(shí)統計和展示關(guān)鍵信息;
圖2 業(yè)務(wù)功能測試結果
針對疫情防控場(chǎng)景，參評產(chǎn)品設置了多種適配話(huà)術(shù)。在篩查、防控、回訪(fǎng)三個(gè)話(huà)術(shù)上，全面支持的參評產(chǎn)品的占比分別達到89%、67%和89%。由于宣教話(huà)術(shù)通常應用于在線(xiàn)客服場(chǎng)景，因此參評產(chǎn)品中約有一半暫未集成。
本次竹間疫情防控情感機器人能快速上線(xiàn)篩查、防控、回訪(fǎng)等多項功能并實(shí)際投入使用，得益于竹間自研的人工智能開(kāi)放平臺Bot Factory™2020。竹間智能將自研的語(yǔ)音識別技術(shù)和NLP融合，可視化的界面和簡(jiǎn)易操作的流程能快速構建例如人員篩查、隔離人員回訪(fǎng)等多輪場(chǎng)景對話(huà)，話(huà)術(shù)配置具備多樣性，使得疫情防控機器人的使用場(chǎng)景更為豐富。
可以自動(dòng)批量撥打電話(huà)進(jìn)行外呼任務(wù)，大大降低人工壓力并可快速準確收集相關(guān)信息，自動(dòng)生成報表以供留檔、分析。
性能評測結果與分析
本輪評測系統測試了語(yǔ)音識別、語(yǔ)義理解、結果分析等6項服務(wù)性能指標。下圖(圖中系統與上表參評企業(yè)排序無(wú)對應關(guān)系)給出了信息采集能力、統計分析能力、語(yǔ)音識別能力和語(yǔ)義理解能力等多個(gè)重要性能指標的準確率。
圖3 服務(wù)性能測試結果
總體來(lái)看，參評產(chǎn)品在信息采集能力、語(yǔ)言識別能力和系統可靠性等方面較為出色，充分利用自身優(yōu)勢助力疫情防控。在信息采集能力方面，參評產(chǎn)品的準確率都超過(guò)了83%，可有效保證相關(guān)字段信息的獲取，從而滿(mǎn)足政府、機構等對關(guān)鍵信息的統計和分析需求;在語(yǔ)音識別能力方面，考慮到電話(huà)環(huán)境噪聲嘈雜，參評產(chǎn)品的準確率主要分布在82%-96%之間，可以達到較好的使用效果;在語(yǔ)義理解能力上，各家準確率在80%上下浮動(dòng)。
竹間智能出色的語(yǔ)義理解能力基于強大的NLP基礎和針對業(yè)務(wù)領(lǐng)域優(yōu)化的Emotibot-BERT深度遷移學(xué)習模型。
通過(guò)結合計算語(yǔ)言學(xué)的詞法分析、句法分析、語(yǔ)義角色分析和基于大規模遷移學(xué)習的中文預訓練語(yǔ)言模型Emotibot-BERT，可以在無(wú)訓練數據的零啟動(dòng)測試當中，已達到80%的準確率，跨領(lǐng)域的意圖理解中，平均準確率已達95%以上，語(yǔ)音識別+多輪交互在外呼的實(shí)際應用場(chǎng)景已達93.9%的準確率。再根據場(chǎng)景的數據訓練之后，準確率將繼續提升。
運營(yíng)情況統計與分析
除上述功能和性能指標評測以外，在首輪疫情防控機器人評測中，還統計了截至2020年2月7日各參評產(chǎn)品的外呼系統的呼叫情況。下圖給出了外呼系統的總呼叫量與日均呼叫量在各數量級上的企業(yè)分布情況。
圖4 參評產(chǎn)品總呼叫量及日呼叫量規模情況
如圖4所示，約有54%的企業(yè)呼叫總數為百萬(wàn)級，其余占比較多的總呼叫量分別處于十萬(wàn)級以下、十萬(wàn)級、五十萬(wàn)級和千萬(wàn)級。從日均呼叫量來(lái)看，約有85%的企業(yè)每天都有超過(guò)幾萬(wàn)通外呼電話(huà)進(jìn)行信息采集、防控回訪(fǎng)。
目前竹間智能的竹間外呼防疫情感機器人已經(jīng)在北京、上海、深圳等多地幫助企業(yè)組織、社區居委進(jìn)行防疫工作。防疫期間也將持續免費向社會(huì )各界提供竹間防疫全場(chǎng)景智能解決方案。
疫情期間免費使用
撥打：400-831-9111防疫期間7*24小時(shí)為您服務(wù)
