傳統語(yǔ)音質(zhì)檢通常是指質(zhì)檢員聽(tīng)取一定比例的電話(huà)錄音進(jìn)行人工質(zhì)檢，檢測坐席在通話(huà)過(guò)程中是否有違規或非標準話(huà)術(shù)行為，如罵人、嘲諷、推諉、過(guò)度承諾等，以規范坐席人員行為，進(jìn)而提升客戶(hù)服務(wù)質(zhì)量。純人工聽(tīng)取錄音效率低，單人日均僅能聽(tīng)取約3小時(shí)，在大規模呼叫中心中往往只能實(shí)現少量錄音的抽檢，覆蓋率低。隨著(zhù)語(yǔ)音識別、自然語(yǔ)言理解技術(shù)的高速發(fā)展，近年來(lái)誕生了智能語(yǔ)音質(zhì)檢系統，在語(yǔ)音質(zhì)檢上起到了越來(lái)越重要的作用。
智能語(yǔ)音質(zhì)檢一般采用機器質(zhì)檢與人工復檢相結合的方式，會(huì )覆蓋客戶(hù)和坐席的每一句話(huà)，可以很好地輔助提升人工坐席的服務(wù)質(zhì)量，智能語(yǔ)音質(zhì)檢相比傳統語(yǔ)音質(zhì)檢具有以下優(yōu)勢:
目前58同城呼叫中心每年有上億通電話(huà)，為了能夠實(shí)現海量電話(huà)錄音全量自動(dòng)化質(zhì)檢，TEG技術(shù)工程平臺群AI Lab自研了智能語(yǔ)音質(zhì)檢系統，它是利用語(yǔ)音識別、自然語(yǔ)言處理、大數據技術(shù)構建起來(lái)的質(zhì)檢管理系統，集成了數據收集、存儲、質(zhì)檢、分析等功能。58智能語(yǔ)音質(zhì)檢系統的工作流程是：首先收集話(huà)務(wù)中心話(huà)務(wù)數據，其次利用語(yǔ)音識別技術(shù)將錄音轉成文本，然后利用自然語(yǔ)言處理技術(shù)與深度學(xué)習技術(shù)對文本進(jìn)行分析處理，最終將質(zhì)檢的結果在Web管理平臺上展示，由質(zhì)檢人員進(jìn)行人工復檢。
整體架構
語(yǔ)音質(zhì)檢架構包括基礎能力層、數據層、邏輯層、編輯運營(yíng)層和Web管理層，如下圖所示:
基礎層為語(yǔ)音質(zhì)檢提供了基礎的語(yǔ)義分析能力，包括由NLP自然語(yǔ)言處理模塊和ASR語(yǔ)音識別模塊組成。NLP模塊主要功能包含分詞、文本聚類(lèi)、文本分類(lèi)、關(guān)鍵詞提取、實(shí)體提取等。ASR(語(yǔ)音識別)模塊集成封裝了第三方語(yǔ)音識別接口，用于語(yǔ)音轉文本、角色分離。
數據層提供了數據接入能力，接入了Kafka、WMB(58自研消息總線(xiàn))實(shí)時(shí)話(huà)務(wù)數據，并提供了質(zhì)檢話(huà)務(wù)數據接口服務(wù)，實(shí)現對實(shí)時(shí)錄音數據、離線(xiàn)語(yǔ)音數據的多種數據格式質(zhì)檢、存儲支持。
邏輯層是語(yǔ)音質(zhì)檢的核心部分，實(shí)現了從音頻數據到坐席客戶(hù)對話(huà)文本、質(zhì)檢標簽識別的全部流程，包括角色識別、語(yǔ)義標簽、語(yǔ)音評分、質(zhì)檢結果通知等模塊。其中角色識別實(shí)現了兩個(gè)對話(huà)角色的識別: 誰(shuí)是坐席，誰(shuí)是客戶(hù)。語(yǔ)義標簽模塊使用機器學(xué)習和深度學(xué)習技術(shù)，通過(guò)語(yǔ)義分析檢測出預定義質(zhì)檢標簽如“客戶(hù)表示不需要”、“銷(xiāo)售辱罵客戶(hù)”等。
編輯運營(yíng)層是一套集數據標注、效果評估、數據分析功能于一體的Web系統。編輯人員通過(guò)質(zhì)檢Web平臺完成質(zhì)檢標簽、角色識別等的標注工作，并定期進(jìn)行數據分析和效果評測。
WEB管理層即提供了人工復檢功能的支持，包括機檢數據概覽、質(zhì)檢任務(wù)分配、人工復檢、統計等模塊。
語(yǔ)音識別
語(yǔ)音識別是一種將語(yǔ)音轉換成文本的技術(shù)，對于雙聲道的錄音，客戶(hù)和坐席的聲音在不同的聲道，因此可以很容易地將通話(huà)雙方的說(shuō)話(huà)內容分開(kāi)并轉寫(xiě)成文本，對于單聲道錄音(我們的質(zhì)檢錄音絕大多數都是單聲道)，客戶(hù)和坐席的聲音混在一起，將說(shuō)話(huà)內容轉寫(xiě)成文本之前，我們還需要進(jìn)行語(yǔ)音分離，將雙方的說(shuō)話(huà)內容在語(yǔ)音粒度上分開(kāi)。語(yǔ)音分離的效果直接影響到后續的質(zhì)檢工作，假如誤把客戶(hù)的說(shuō)話(huà)內容判別為坐席的說(shuō)話(huà)內容，必然會(huì )降低質(zhì)檢的效果。衡量語(yǔ)音分離的通用指標是分離錯誤率(DiarizationError Rate)DER，它指的是語(yǔ)音總時(shí)長(cháng)中識別錯誤的語(yǔ)音時(shí)長(cháng)所占的比重，DER越小說(shuō)明分離的效果越好。
此外對于單聲道的語(yǔ)音，我們將分離后的語(yǔ)音識別成文本后，還需要進(jìn)行角色識別的工作，語(yǔ)音分離只是識別出哪些說(shuō)話(huà)內容是A的，哪些是B的，還需要依靠角色識別來(lái)判斷A和B哪個(gè)是坐席，哪個(gè)是客戶(hù)。
角色識別服務(wù)分兩步進(jìn)行，首先會(huì )根據音頻特征判斷說(shuō)話(huà)人雙方是否是異性，如果是異性，使用語(yǔ)音性別模型識別出每一句說(shuō)話(huà)內容的性別，然后進(jìn)行角色的判定。如果無(wú)法確定認為雙方為異性，則會(huì )進(jìn)行通用角色識別：獲得A和B的說(shuō)話(huà)內容之后，第一步是整體判別A和B的角色，整體判別之后可能還會(huì )有部分語(yǔ)句的角色是錯的(由于語(yǔ)音分離不完全準確造成)，比如“有什么還可以幫您的嗎?”明顯是坐席說(shuō)的話(huà)，但是卻被分到了客戶(hù)的角色上，因此第二步我們會(huì )做單句角色糾正。客戶(hù)和坐席的說(shuō)話(huà)內容都有明顯的角色特征，在角色整體判別和單句角色糾正中，我們使用了深度學(xué)習模型Transformer和TextCNN并結合挖掘到的一些規則來(lái)進(jìn)行識別。
語(yǔ)音轉文字質(zhì)檢標簽識別
銷(xiāo)售質(zhì)檢包括銷(xiāo)售違規質(zhì)檢和銷(xiāo)售常規質(zhì)檢。銷(xiāo)售違規質(zhì)檢是為了找出客戶(hù)有投訴傾向的錄音，為此我們定義了“客戶(hù)表示將去投訴”，“銷(xiāo)售辱罵客戶(hù)”，“客戶(hù)表示被騷擾”，“客戶(hù)表示打錯了”等標簽。語(yǔ)音質(zhì)檢系統可以檢測出包含這些標簽的錄音，并將這些錄音反饋給銷(xiāo)售主管，銷(xiāo)售主管獲取這些錄音做進(jìn)一步的處理以避免客戶(hù)投訴的發(fā)生。
銷(xiāo)售常規質(zhì)檢針對所有業(yè)務(wù)線(xiàn)的銷(xiāo)售錄音，包括“過(guò)度承諾”，“工作作假”，“銷(xiāo)售辱罵客戶(hù)”等標簽，銷(xiāo)售常規質(zhì)檢對于監督銷(xiāo)售工作、規范銷(xiāo)售行為起到了重要作用。
客服質(zhì)檢針對的是客服錄音，目標是檢測出通話(huà)中客服不文明或者不合規的行為，客服質(zhì)檢對于提升客服服務(wù)質(zhì)量有重要作用。比如招聘業(yè)務(wù)線(xiàn)新戶(hù)客服的工作是告知新會(huì )員需要注意的事項，包括“安全提示”，“號碼保護”和“客戶(hù)熱線(xiàn)”等標簽，語(yǔ)音質(zhì)檢系統會(huì )給出新戶(hù)首通客服錄音包含的所有標簽，并對本次通話(huà)給出一個(gè)評分。
質(zhì)檢標簽識別是一個(gè)復雜同時(shí)又具有挑戰的問(wèn)題，需要考慮業(yè)務(wù)，語(yǔ)氣和上下文等因素，同時(shí)還要避免語(yǔ)音識別錯誤帶來(lái)的影響。在語(yǔ)義理解上，我們采用了TextCNN，Transformer和Bert等深度學(xué)習模型，同時(shí)基于對業(yè)務(wù)的理解使用了相應的規則，在標簽識別準確率上，銷(xiāo)售質(zhì)檢準確率為達到90%以上，客服質(zhì)檢準確率達到87%。
復檢系統
復檢系統是Web管理平臺的一部分，我們會(huì )把質(zhì)檢結果展示在Web頁(yè)面上，質(zhì)檢員可以看到整體質(zhì)檢報表，也可以對單通語(yǔ)音進(jìn)行復檢，人工復檢的詳情頁(yè)面如下所示：
質(zhì)檢員在標簽欄可以看到質(zhì)檢系統給出的標簽，點(diǎn)擊標簽可以直接定位到標簽的說(shuō)話(huà)內容，點(diǎn)擊說(shuō)話(huà)內容左側的播放按鈕可以聽(tīng)這句話(huà)的錄音，同時(shí)最下側的錄音進(jìn)度條也會(huì )移動(dòng)到相應位置。質(zhì)檢員不僅可以很快地復檢標簽內容，也可以通過(guò)快速瀏覽文字檢查質(zhì)檢系統未覆蓋到的內容并手動(dòng)添加標簽，復檢結果會(huì )存入數據庫中供后續分析使用。傳統的人工質(zhì)檢，質(zhì)檢時(shí)邊聽(tīng)錄音邊做記錄，一通語(yǔ)音要反復聽(tīng)好幾遍才會(huì )有一個(gè)質(zhì)檢結果，效率非常低下。相比于傳統的人工質(zhì)檢方式，使用復檢系統的人效提高2至3倍。
后端架構設計
語(yǔ)音質(zhì)檢后臺系統基于58同城自研RPC框架SCF實(shí)現，使用WMonitor實(shí)現對各個(gè)服務(wù)的監控，存儲依據不同數據的特性分別選用了WOS(58自研對象存儲服務(wù))、Redis、WTable(58自研KV存儲服務(wù))、WCS(58自研索引服務(wù))、MySQL等。整個(gè)后臺服務(wù)的設計如下圖所示：
語(yǔ)音質(zhì)檢接入了呼叫中心的實(shí)時(shí)話(huà)務(wù)消息隊列，以實(shí)現對坐席電話(huà)的實(shí)時(shí)質(zhì)檢功能，此外還額外提供了話(huà)務(wù)數據接口服務(wù)，實(shí)現對離線(xiàn)數據的提交質(zhì)檢。
語(yǔ)音質(zhì)檢后臺系統由數據服務(wù)、主體服務(wù)、ASR服務(wù)、ASR回調服務(wù)、說(shuō)話(huà)人識別服務(wù)、質(zhì)檢標簽服務(wù)等多個(gè)微服務(wù)組成。
數據服務(wù)負責實(shí)現對多種數據源的接入，補全客戶(hù)以及坐席組織架構信息，并實(shí)現對存于話(huà)務(wù)系統中原始錄音文件的WOS轉存功能。主體服務(wù)貫穿整個(gè)質(zhì)檢過(guò)程，負責控制整個(gè)數據流：調用日晷平臺獲取ABTest實(shí)驗配置，向ASR服務(wù)發(fā)起轉寫(xiě)請求，調用說(shuō)話(huà)人識別服務(wù)、質(zhì)檢標簽服務(wù)獲取角色識別結果以及質(zhì)檢標簽，向質(zhì)檢員發(fā)送違規通知、向其他內部系統同步質(zhì)檢結果等。
語(yǔ)音轉寫(xiě)算法模型耗時(shí)較長(cháng)，故對第三方服務(wù)的封裝采用異步調用的方式：由ASR服務(wù)負責對HTTP提交任務(wù)接口的封裝，對內提供一個(gè)SCF接口;并設立回調HTTP服務(wù)接收ASR轉寫(xiě)結果轉存WTable，并使用WMB向主體服務(wù)發(fā)送質(zhì)檢回調請求。
說(shuō)話(huà)人識別以及質(zhì)檢語(yǔ)音標簽分析依賴(lài)的模型經(jīng)離線(xiàn)訓練后部署在WPAI中，此外WPAI提供了算法模型在線(xiàn)預測服務(wù)，供說(shuō)話(huà)人識別服務(wù)、質(zhì)檢語(yǔ)義標簽服務(wù)在線(xiàn)調用，質(zhì)檢結果由主體服務(wù)統一存儲到MySQL中。
在將錄音轉寫(xiě)成文本、給每通錄音打上質(zhì)檢標簽后，為便于質(zhì)檢員實(shí)時(shí)復檢操作，我們構建了智能質(zhì)檢Web平臺，平臺提供機檢標簽查詢(xún)、人工復檢、錄音文本查看、錄音調聽(tīng)、統計報表匯總等功能。Web系統涉及大量的標簽查詢(xún)以及統計功能，單一的SQL查詢(xún)難以滿(mǎn)足性能指標，對此我們引入了58自研的58云搜(WCS)搜索私有云平臺，將質(zhì)檢結果數據實(shí)時(shí)同步至WCS中，Web查詢(xún)由WCS統一承載，目前在千萬(wàn)級數據接口查詢(xún)速度約為20ms。
列表查詢(xún)
總結
本文主要介紹了智能語(yǔ)音質(zhì)檢系統的架構設計，包括整體架構、角色識別、質(zhì)檢標簽識別、系統的服務(wù)設計等。
目前智能語(yǔ)音質(zhì)檢系統已穩定接入58同城呼叫中心銷(xiāo)售、客服全量錄音，涉及13個(gè)業(yè)務(wù)，日均質(zhì)檢電話(huà)錄音數十萬(wàn)通，其中客服錄音質(zhì)檢場(chǎng)景折合節省人力近千人，提高了呼叫中心人效和服務(wù)質(zhì)量。
同時(shí)智能語(yǔ)音質(zhì)檢系統提供了通用的語(yǔ)音分析能力，除了目前應用的語(yǔ)音質(zhì)檢場(chǎng)景外同樣的技術(shù)也可以用于C2B平臺語(yǔ)音分析場(chǎng)景，58同城作為平臺方為商家以及客戶(hù)搭建了方便快捷的溝通途徑，其中語(yǔ)音電話(huà)也是一大重要的溝通方式，對于C端客戶(hù)與B端商家的語(yǔ)音分析可提供如低質(zhì)通話(huà)過(guò)濾、客戶(hù)需求挖掘分析等多種業(yè)務(wù)能力。C2B的語(yǔ)音一般是雙聲道，不需要做語(yǔ)音分離和角色識別，可以很好地區分客戶(hù)和商家說(shuō)話(huà)內容，因此具有更好的分析效果。
此外語(yǔ)音質(zhì)檢后續將重點(diǎn)提高角色識別、標簽識別準確率，提供簡(jiǎn)單快捷的接入平臺的能力，進(jìn)一步挖掘語(yǔ)音數據中潛藏信息，服務(wù)業(yè)務(wù)方，提高語(yǔ)音質(zhì)檢、分析工作人效，為廣大用戶(hù)提供更好更優(yōu)質(zhì)的服務(wù)。
作者簡(jiǎn)介
劉晟源，58同城 AI Lab 后端資深開(kāi)發(fā)工程師，主要負責智能語(yǔ)音質(zhì)檢平臺開(kāi)發(fā)相關(guān)工作。
陳璐，58同城 AI Lab 算法高級工程師，主要負責58智能質(zhì)檢的算法開(kāi)發(fā)工作。
AI Lab簡(jiǎn)介
58同城TEG技術(shù)工程平臺群AI Lab，旨在推動(dòng)AI技術(shù)在58生活服務(wù)行業(yè)的落地，打造AI中臺能力，以提高前臺業(yè)務(wù)的人效和用戶(hù)體驗。AI Lab目前負責的產(chǎn)品包括：智能客服機器人、智能語(yǔ)音機器人、智能語(yǔ)音質(zhì)檢系統、智能寫(xiě)稿、AI算法平臺等，未來(lái)將持續加速創(chuàng )新，拓展AI應用。
