前端語(yǔ)音處理，利用信號處理的方法對說(shuō)話(huà)人的語(yǔ)音進(jìn)行檢測、降噪等預處理，以便得到最適合語(yǔ)音識別引擎處理的語(yǔ)音，其主要功能包括端點(diǎn)檢測VAD、流式語(yǔ)音智能斷句和噪音消除。
一、端點(diǎn)檢測
語(yǔ)音端點(diǎn)檢測是對輸入的音頻流進(jìn)行分析，確定客戶(hù)說(shuō)話(huà)的起點(diǎn)和終止點(diǎn)的處理過(guò)程。一旦檢測到客戶(hù)開(kāi)始說(shuō)話(huà)，語(yǔ)音開(kāi)始流向識別引擎，直到檢測到客戶(hù)說(shuō)話(huà)結束。這種方式能夠使得識別引擎在客戶(hù)說(shuō)話(huà)的同時(shí)開(kāi)始進(jìn)行識別，做到最大限度的即時(shí)處理。
1 端點(diǎn)檢測過(guò)程
1、基于語(yǔ)音信號的特征，用能量，過(guò)零率，熵(entropy)，音高(pitch)等參數以及它們的衍生參數，來(lái)判斷信號流中的語(yǔ)音/非語(yǔ)音信號。
2、在信號流中檢測到語(yǔ)音信號后，判斷此處是否是語(yǔ)句的開(kāi)始或結束點(diǎn)。在商用語(yǔ)音系統中，由于信號多變的背景和自然對話(huà)模式而更容易使得句中有停頓(非語(yǔ)音)，特別是在爆發(fā)聲母前總會(huì )有無(wú)聲間隙。因此，這種開(kāi)始/結束的判定尤為重要。
2 端點(diǎn)檢測目的
減少識別器的數據處理量。可以大量減少信號傳輸量及識別器的運算負載，對于語(yǔ)音對話(huà)的實(shí)時(shí)識別有重要作用。
拒絕非語(yǔ)音的信號。對非語(yǔ)音信號的識別不僅是一種資源浪費，而且有可能改變對話(huà)的狀態(tài)，造成對用戶(hù)的困擾。
在需要打斷(barge-in)功能的系統中，語(yǔ)音的起始點(diǎn)是必須的。在端點(diǎn)檢測找到語(yǔ)音的起始點(diǎn)時(shí)，系統將停止提示音的播放。完成打斷功能。
3 端點(diǎn)檢測對識別系統的影響
隨著(zhù)語(yǔ)音識別應用的發(fā)展，越來(lái)越多的系統將打斷功能作為一種方便有效的應用模式。
而打斷功能又直接依賴(lài)端點(diǎn)檢測，端點(diǎn)檢測對打斷功能的影響發(fā)生在判斷語(yǔ)音/非語(yǔ)音的過(guò)程出現錯誤時(shí)，表現在過(guò)于敏感的端點(diǎn)檢測產(chǎn)生的語(yǔ)音信號的誤警將產(chǎn)生錯誤的打斷。
例如，提示音被很強的背景噪音或其它人的講話(huà)打斷，是因為端點(diǎn)檢測錯誤的將這些信號作為有效語(yǔ)音信號造成的。反之，如果端點(diǎn)檢測漏過(guò)了事實(shí)上的語(yǔ)音部分，而沒(méi)有檢測到語(yǔ)音，系統會(huì )表現出沒(méi)有反應。
在用戶(hù)講話(huà)時(shí)還在播放提示音，端點(diǎn)檢測對識別系統的識別效果影響也很大。語(yǔ)音信號的起始點(diǎn)和結束點(diǎn)判斷有誤，有可能影響整個(gè)信號的完整性。在語(yǔ)句的開(kāi)頭或結尾漏掉一些有用的數據。當這種情況發(fā)生時(shí)，很可能對識別的準確度有特別大影響，不完全的信息會(huì )使識別率降低。
4 商用端點(diǎn)檢測應具備的特性
端點(diǎn)檢測的精確度高。
更好的背景噪聲和語(yǔ)音模型：使系統對背景噪聲，其它說(shuō)話(huà)人和非語(yǔ)音的聲音有很好的拒絕功能。
默認的系統相關(guān)參數有很好的適用性，而在有需要的現實(shí)環(huán)境中，可以通過(guò)系統調節來(lái)適應通話(huà)環(huán)境，改善端點(diǎn)檢測的效果。
對信道有自適應能力：在對話(huà)開(kāi)始后能很快適應當前的信道特征，使得端點(diǎn)檢測的準確度有進(jìn)一步提高。
獨特的識別服務(wù)器的反饋和非語(yǔ)音持續時(shí)間雙重結束點(diǎn)判定功能，有效的改善了語(yǔ)音結束點(diǎn)的判定，特別是對較長(cháng)的語(yǔ)句效果更加突出。
基于可靠的端點(diǎn)檢測技術(shù)和智能反饋，智能打斷功能不僅應該在一般的環(huán)境下工作出色，而且能有效的拒絕環(huán)境噪聲，非語(yǔ)音的高強噪聲(呼吸，關(guān)門(mén)等)環(huán)境中其它人的聲音。
二 流式語(yǔ)音智能斷句
現有的語(yǔ)音處理方案是先用語(yǔ)音活動(dòng)檢測模塊對語(yǔ)音進(jìn)行斷句，再將斷開(kāi)的語(yǔ)音進(jìn)行自動(dòng)語(yǔ)音識別。但是，在電話(huà)語(yǔ)音交互場(chǎng)景中，VAD面臨著(zhù)兩個(gè)難題：
01如何可以成功檢測到最低能量的語(yǔ)音(靈敏度)？
02如何在多變的復雜噪聲環(huán)境下成功檢測（漏檢率和虛檢率）？
漏檢反應的是原本是語(yǔ)音但是沒(méi)有檢測出來(lái)，而虛檢率反應的是不是語(yǔ)音信號而被檢測成語(yǔ)音信號的概率。相對而言漏檢是不可接受的，而虛檢可以通過(guò)后端的ASR和NLP算法進(jìn)一步過(guò)濾，但是虛檢會(huì )帶來(lái)系統資源利用率上升，以及造成響應不及時(shí)。
對于在目標人交互語(yǔ)音前發(fā)生虛檢，主要問(wèn)題是增加ASR識別處理數據量，如下圖所示：
對于在目標人交互語(yǔ)音后發(fā)生虛檢，不僅增加ASR識別處理數據量，還會(huì )造成響應不及時(shí)。
現有語(yǔ)音處理方案存在斷句不準確的問(wèn)題，主要有兩個(gè)主要缺點(diǎn)：
一是無(wú)法過(guò)濾噪音和無(wú)效的語(yǔ)音；
另外就是對說(shuō)話(huà)人的要求較高，中間不能有停頓，如果句間停頓時(shí)長(cháng)設置的太短，容易造成截斷；句間停頓時(shí)長(cháng)設置太長(cháng)，又會(huì )造成響應不及時(shí)。
如下圖所示：
流式語(yǔ)音智能斷句模塊是主要由語(yǔ)音識別模塊、信息流聚合模塊、動(dòng)態(tài)窗口設定模塊、斷句識別模塊構成。其中：
語(yǔ)音識別模塊用于接收并識別語(yǔ)音實(shí)時(shí)流，并按照指定的頻率輸出帶有時(shí)序的語(yǔ)音識別結果；
信息流聚合模塊用于對帶有時(shí)序的語(yǔ)音識別結果進(jìn)行優(yōu)化處理，并整合經(jīng)過(guò)優(yōu)化處理后的帶有時(shí)序的語(yǔ)音識別結果，以形成語(yǔ)音識別結果序列；
動(dòng)態(tài)窗口設定模塊用于從語(yǔ)音識別結果序列中選擇指定范圍的文本，進(jìn)而將指定范圍的文本用于斷句分析；
斷句識別模塊用于分析指定范圍的文本的語(yǔ)義，并根據語(yǔ)義確定是否進(jìn)行斷句。
三噪音消除
引擎具備噪音消除功能，在實(shí)際應用過(guò)程中背景噪聲對于語(yǔ)音識別應用是一個(gè)現實(shí)的挑戰，即便說(shuō)話(huà)人處理安靜的辦公室環(huán)境，在電話(huà)語(yǔ)音通話(huà)過(guò)程中也難免會(huì )有一定噪聲，語(yǔ)音識別系統需具備高效的噪音消除能力，以適應客戶(hù)在千差萬(wàn)別的環(huán)境中使用的要求。
關(guān)于語(yǔ)音識別前端處理的介紹就到這了，壹鴿科技后續將會(huì )為大家帶來(lái)更多相關(guān)的技術(shù)講解，敬請期待把！
