本輪試評估將通過技術測試、材料審查和企業(yè)披露等方式對參測產品的基礎功能、業(yè)務能力和服務性能等指標進行評測。竹間智能作為中國人工智能產業(yè)發(fā)展聯(lián)盟成員，以“竹間疫情防控情感機器人”系統(tǒng)參與了本次首批測評，并在各項指標上均取得了不錯成績。
參評企業(yè)名單：
功能評測結果與分析
本輪評測系統(tǒng)測試了方言支持、結果報表、異常上報等7項基礎功能指標，測試了篩查、防控、回訪等5項業(yè)務功能指標。下圖給出了功能部分的評測結果，列出了參測產品對于各指標的支持情況：
圖1基礎功能測試結果
總體而言，參評產品在并發(fā)外呼、話術配置和結果報表等方面表現(xiàn)較好，主要有以下三個方面的特點：
系統(tǒng)對并發(fā)外呼的支持充分保證了呼叫效率，多數(shù)參評產品并發(fā)能力超過1000;
話術配置具備多樣性，使得疫情防控機器人的使用場景更為豐富;
結果報表支持實時統(tǒng)計和展示關鍵信息;
圖2 業(yè)務功能測試結果
針對疫情防控場景，參評產品設置了多種適配話術。在篩查、防控、回訪三個話術上，全面支持的參評產品的占比分別達到89%、67%和89%。由于宣教話術通常應用于在線客服場景，因此參評產品中約有一半暫未集成。
本次竹間疫情防控情感機器人能快速上線篩查、防控、回訪等多項功能并實際投入使用，得益于竹間自研的人工智能開放平臺Bot Factory™2020。竹間智能將自研的語音識別技術和NLP融合，可視化的界面和簡易操作的流程能快速構建例如人員篩查、隔離人員回訪等多輪場景對話，話術配置具備多樣性，使得疫情防控機器人的使用場景更為豐富。
可以自動批量撥打電話進行外呼任務，大大降低人工壓力并可快速準確收集相關信息，自動生成報表以供留檔、分析。
性能評測結果與分析
本輪評測系統(tǒng)測試了語音識別、語義理解、結果分析等6項服務性能指標。下圖(圖中系統(tǒng)與上表參評企業(yè)排序無對應關系)給出了信息采集能力、統(tǒng)計分析能力、語音識別能力和語義理解能力等多個重要性能指標的準確率。
圖3 服務性能測試結果
總體來看，參評產品在信息采集能力、語言識別能力和系統(tǒng)可靠性等方面較為出色，充分利用自身優(yōu)勢助力疫情防控。在信息采集能力方面，參評產品的準確率都超過了83%，可有效保證相關字段信息的獲取，從而滿足政府、機構等對關鍵信息的統(tǒng)計和分析需求;在語音識別能力方面，考慮到電話環(huán)境噪聲嘈雜，參評產品的準確率主要分布在82%-96%之間，可以達到較好的使用效果;在語義理解能力上，各家準確率在80%上下浮動。
竹間智能出色的語義理解能力基于強大的NLP基礎和針對業(yè)務領域優(yōu)化的Emotibot-BERT深度遷移學習模型。
通過結合計算語言學的詞法分析、句法分析、語義角色分析和基于大規(guī)模遷移學習的中文預訓練語言模型Emotibot-BERT，可以在無訓練數(shù)據(jù)的零啟動測試當中，已達到80%的準確率，跨領域的意圖理解中，平均準確率已達95%以上，語音識別+多輪交互在外呼的實際應用場景已達93.9%的準確率。再根據(jù)場景的數(shù)據(jù)訓練之后，準確率將繼續(xù)提升。
運營情況統(tǒng)計與分析
除上述功能和性能指標評測以外，在首輪疫情防控機器人評測中，還統(tǒng)計了截至2020年2月7日各參評產品的外呼系統(tǒng)的呼叫情況。下圖給出了外呼系統(tǒng)的總呼叫量與日均呼叫量在各數(shù)量級上的企業(yè)分布情況。
圖4 參評產品總呼叫量及日呼叫量規(guī)模情況
如圖4所示，約有54%的企業(yè)呼叫總數(shù)為百萬級，其余占比較多的總呼叫量分別處于十萬級以下、十萬級、五十萬級和千萬級。從日均呼叫量來看，約有85%的企業(yè)每天都有超過幾萬通外呼電話進行信息采集、防控回訪。
目前竹間智能的竹間外呼防疫情感機器人已經在北京、上海、深圳等多地幫助企業(yè)組織、社區(qū)居委進行防疫工作。防疫期間也將持續(xù)免費向社會各界提供竹間防疫全場景智能解決方案。
疫情期間免費使用
撥打：400-831-9111防疫期間7*24小時為您服務
