Spirent辛小秋：VOIP方面的測試方法和經(jīng)驗(yàn)

　　今天我講的主要議程有四個(gè)方面：
　　第一，VOIP測試方法學(xué)。
　　思博倫在IP測試方面積累了多年的經(jīng)驗(yàn)，總結(jié)來說在測試方法這方面有三部分，這三部分是環(huán)環(huán)相扣的，不能從第一步直接跳到第三步，這都是不可以的。在VOIP方面我們首先要進(jìn)行孤立節(jié)點(diǎn)的測試。我們知道我們VOIP在網(wǎng)絡(luò)當(dāng)中節(jié)點(diǎn)很多從終端到網(wǎng)絡(luò)節(jié)點(diǎn)到核心網(wǎng)的軟交換等等都有很多，這些節(jié)點(diǎn)怎么樣首先要孤立起來，孤立這些節(jié)點(diǎn)來測試它的語音質(zhì)量性能。只有這樣我們才能把網(wǎng)絡(luò)里面每個(gè)節(jié)點(diǎn)的性能都很清晰地測試出來，看一看它真實(shí)的能力是不是負(fù)荷它設(shè)計(jì)的要求。我們做完第一步之后要進(jìn)行第二步，第二步要解決兼容性的問題，我們在網(wǎng)絡(luò)里面有多VOIP的節(jié)點(diǎn)，這些節(jié)點(diǎn)可能來自于不同的生產(chǎn)商，比如說華為的軟交換和中興的媒體網(wǎng)之間組織一個(gè)小的群體，在這個(gè)群體里面可能有一個(gè)、兩個(gè)或者多個(gè)節(jié)點(diǎn)組成一個(gè)內(nèi)測網(wǎng)絡(luò)，我們再訪問這個(gè)內(nèi)測網(wǎng)絡(luò)，解決兼容性的問題。也就是說，即使我們測試了華為的軟交換它的性能非常好，但兩個(gè)節(jié)點(diǎn)放在一起組成的網(wǎng)絡(luò)性能可能集成的并不負(fù)荷要求。我們會(huì)進(jìn)行端到端的測試方法，這個(gè)測試方法主要是考慮到用戶的真實(shí)感受，也就是說用戶拿起電話來進(jìn)行呼叫到另一方的時(shí)候，對(duì)方是否能夠聽到清晰的語音，是不是我們能夠感受到一些回聲或者有的時(shí)候聽不清。這種現(xiàn)象在真實(shí)用戶感覺里面是非常敏感，也是造成用戶投訴的重要來源。
　　在VOIP里面我們知道功能測試，包括語音電話功能測試、電話業(yè)務(wù)功能測試、傳真功能測試，比如說T30/T38/V34的測試。
　　第二部分在VOIP性能測試包括壓力測試和穩(wěn)定性測試。大家往往重視第一方面而忽略第二方面的測試，通過壓力測試看一下被測系統(tǒng)是否達(dá)到設(shè)置要求。第二個(gè)方面是穩(wěn)定性測試，我們在大的話務(wù)量背景下我們要進(jìn)行一些常保持的呼叫測試，在呼叫過程當(dāng)中我們要檢測一些呼叫參數(shù)比如說語音質(zhì)量，看一下這些指標(biāo)隨時(shí)間變化的曲線是怎么樣，比如說我們的語音質(zhì)量，我們的語音質(zhì)量往往在呼叫開始的時(shí)候非常好，但是過了一段時(shí)間尤其是IP網(wǎng)絡(luò)，可能會(huì)突然產(chǎn)生惡化。大家都用過Skype和MSN進(jìn)行通話，可能一開始都可以聽到清晰的聲音但是過了沒有多久就會(huì)聽到雜音或者回聲或者語音斷斷續(xù)續(xù)的現(xiàn)象。在這種現(xiàn)象中我們稱之為漏斗，這種漏斗上語音質(zhì)量變化上可以很清晰的看到，比如說一開始是4.5或者4.2非常好，但是過了1分鐘、2分鐘可能會(huì)變成2.8，然后再加上可能會(huì)產(chǎn)生一個(gè)漏斗的情況。這個(gè)漏斗的多少或者漏斗出現(xiàn)的頻率就可以反映我們被測系統(tǒng)的穩(wěn)定性。在測試過程當(dāng)中可以知道被測系統(tǒng)處于不穩(wěn)定的狀態(tài)，尤其是高話務(wù)量的背景下產(chǎn)生的影響，這些也是用戶投訴的重要原因。
　　VOIP性能測試方面，我們VOIP存在兩個(gè)層面，第一個(gè)層面是控制層面也就是系列層面，在NGN網(wǎng)絡(luò)里面是VOIP與PSTN網(wǎng)絡(luò)融合，存在大量的信令協(xié)議來控制各種業(yè)務(wù)呼叫。第二方面是數(shù)據(jù)層面，數(shù)據(jù)層面是在NGN網(wǎng)絡(luò)中的媒體流以RTP和傳統(tǒng)TDM兩種形式存在。
　　所以我們VOIP網(wǎng)絡(luò)性能的測試要點(diǎn)有兩個(gè)方面：第一方面是控制層面的處理能力測試包括BHCA測試，我們要檢測被測設(shè)備一個(gè)小時(shí)里面能夠處理多少話務(wù)，以及CPS，還有信令有沒有延遲、呼叫過程音有沒有延遲，比如說用戶撥完號(hào)以后多長時(shí)間可以聽到回音，這種延遲會(huì)反映出用戶的忍耐程度和網(wǎng)絡(luò)性能之間的平衡問題。比如說用戶只能忍耐2秒或者1秒，但是你在高話務(wù)量的情況下你達(dá)到10秒或者更高，雖然你測試以后很好但是這種情況放在真實(shí)網(wǎng)絡(luò)里面用戶投訴肯定是非常之多的。
　　第二方面數(shù)據(jù)層面我們還要測試語音質(zhì)量，語音質(zhì)量測試也要考慮到用戶的感受，我們規(guī)定入網(wǎng)的條件是4.0以上，4.0是我們的及格線。當(dāng)然移動(dòng)網(wǎng)絡(luò)里面可以到3.5或者3.8。在這里面我們可以測試PSQM/PESQ/MOS，如果大于400毫秒的話我們認(rèn)為是不合格的。
　　對(duì)于VOIP測試方法舉例，比如說測試軟交換，這都是周圍一些節(jié)點(diǎn)，我們使用測試工具來仿真周圍的節(jié)點(diǎn)把軟交換孤立起來。這就是我剛才說的第一種測試方法孤立結(jié)點(diǎn)的測試方法。這樣的好處我可以清晰地得到這個(gè)節(jié)點(diǎn)的具體性能是不是達(dá)到我設(shè)置的要求。
　　第二個(gè)例子是網(wǎng)關(guān)測試。我們在一個(gè)網(wǎng)絡(luò)里面要測試很多個(gè)網(wǎng)關(guān)，這些網(wǎng)關(guān)可能來自于不同的產(chǎn)品和提供商，可能是來自華為、阿爾卡特或者中興等其他廠家，我們用測試來仿真揭露網(wǎng)關(guān)的揭露終端來測試網(wǎng)關(guān)的性能。這樣做的好處就是要檢驗(yàn)出在我們單獨(dú)對(duì)每一個(gè)媒體網(wǎng)關(guān)進(jìn)行孤立節(jié)點(diǎn)測試之后我們還要進(jìn)行融合的測試或者說兼容性的測試，是不是能夠達(dá)到我們預(yù)期的效果。
　　這是SBC的測試。測試工具通過仿真對(duì)于SBC進(jìn)行測試，這類似于端到端的測試。
　　這種測試是G-PON VOIP測試，我們用測試工具仿真接入和VOIP網(wǎng)絡(luò)或者PSP網(wǎng)絡(luò)部分進(jìn)行性能測試，這也屬于端到端的測試。端到端的測試我們要測試網(wǎng)絡(luò)的性能和穩(wěn)定性。
　　這部分是我們專門在VOIP網(wǎng)絡(luò)里來測試語音質(zhì)量的，來體現(xiàn)我們真實(shí)用戶如果使用你的VOIP網(wǎng)絡(luò)來打這種電話的話他能夠感受到什么，他能夠感受到我摘機(jī)以后多長時(shí)間聽到，我的語音情況怎么樣，有沒有斷斷續(xù)續(xù)，這些指標(biāo)都是我們測試的重點(diǎn)。
　　第二部分我給大家稍微講一下VOIP性能的結(jié)果分析。所謂VOIP網(wǎng)絡(luò)性能測試，剛才我說過了包括幾個(gè)方面，有負(fù)荷壓力測試有穩(wěn)定性測試，我們采用不同的測試方法，不管怎樣的測試網(wǎng)絡(luò)性能測試都有很大的呼叫量對(duì)于被測對(duì)象或者被測的網(wǎng)絡(luò)產(chǎn)生一定的壓力，或者產(chǎn)生一個(gè)長時(shí)間的呼叫來測試它的性能和它的穩(wěn)定性。
　　首先我們講一下負(fù)荷壓力測試，分為同步呼叫和異步測試，比如說我的一萬個(gè)終端可以同時(shí)啟動(dòng)我看軟交換能不能同時(shí)處理。我們再假設(shè)一種情況軟交換的設(shè)計(jì)是可以處理的，當(dāng)然90%的測試結(jié)果是達(dá)不到滿意的，也就是設(shè)計(jì)能力是能夠同時(shí)受理1萬個(gè)呼叫，但是真實(shí)模擬1萬個(gè)呼叫的時(shí)候系統(tǒng)就達(dá)不到要求。即使產(chǎn)生了零虧損的狀態(tài)我們還要驗(yàn)證一下限定時(shí)點(diǎn)還有其他的指標(biāo)能不能達(dá)標(biāo)。
　　長保持測試方式，主要測試系統(tǒng)穩(wěn)定性，比如說我們用了一萬個(gè)終端保持一個(gè)小時(shí)或者八個(gè)小時(shí)呼叫，在保持過程中我們首先看一下這個(gè)呼叫有沒有調(diào)換的現(xiàn)象，如果有調(diào)換的現(xiàn)象說明系統(tǒng)處于不穩(wěn)定的狀態(tài)。同時(shí)還要檢驗(yàn)有沒有漏斗的存在，也就是說我們要檢測語音質(zhì)量和其他指標(biāo)隨時(shí)間變化的曲線，這個(gè)曲線可以反映出系統(tǒng)穩(wěn)定性的好與壞。一般來說漏斗是都存在，但是漏斗幅度大小不一樣，比如說用語音質(zhì)量來舉例子，我們語音質(zhì)量一般在4.5到4.0之間波動(dòng)，但有時(shí)候我們的漏斗會(huì)到3.0以下或者2.0以下，這樣的幅度是很深的，往往被用戶聽出來是很不好的感覺，比如說對(duì)方突然聽不到或者存在雜音。
　　下面說一下網(wǎng)絡(luò)性能的指標(biāo)的參數(shù)之一語音質(zhì)量。大家知道我們普通的模擬終端要接入到IP網(wǎng)絡(luò)必須要經(jīng)過網(wǎng)關(guān)進(jìn)行編碼，各個(gè)廠家采用的方式不一樣，有的要采取快速的算法，保留大部分人的中頻聲音。還有一些廠家可以采用比較全面的編解碼把所有的聲音都保留下來但是速度很慢，聲音從主叫方傳到被叫方時(shí)間會(huì)很長，如果你采用好的編解碼方式時(shí)間會(huì)長，你采用很快的編解碼方式可能對(duì)你的語音質(zhì)量又有影響，這就是一個(gè)平衡點(diǎn)的問題。
　　第二個(gè)影響語音質(zhì)量的因素就是傳輸線路造成的。在傳輸線路上存在一些丟失，這些因素也會(huì)影響到我們的語音質(zhì)量。另外還有一些回聲，是與我們模擬系統(tǒng)進(jìn)入到IP混合造成的回聲，IP的網(wǎng)絡(luò)還不能完全消除回聲，只不過人是能聽見還是不能聽見的。另外還存在失真的問題，我們網(wǎng)絡(luò)被動(dòng)層的語音質(zhì)量。
　　我們用戶關(guān)心的還有一些參數(shù)比如說呼叫過程音，用戶一般摘機(jī)起來有一個(gè)撥號(hào)音，用戶什么時(shí)候能夠聽到這是很重要的。另外還有忙音、擁塞音、回鈴音，用戶都非常熟悉。如果我們很長才能聽到用戶有會(huì)產(chǎn)生反感甚至?xí)�投訴。
　　我們檢驗(yàn)呼叫過程音的方法往往是采用時(shí)延的方法，用戶摘機(jī)以后到聽到撥號(hào)音的時(shí)間是多長，再一個(gè)用戶撥完號(hào)以后到聽到聲音之前，我說的話到傳到用戶耳朵里面用了多長時(shí)間，可能就存在不是實(shí)時(shí)的表現(xiàn)形式。
　　這些是呼叫的整個(gè)過程，都是用戶關(guān)心的一些重要性能指標(biāo)。
　　像信令延遲，就是我們在不同信令里面發(fā)送和接受的時(shí)間差，這個(gè)時(shí)間差是有兩方面造成的，大家可以看一下這個(gè)時(shí)間差，信令時(shí)延，比如說我發(fā)了一條消息到我收到一條消息可能是100或者200，這個(gè)時(shí)間差我們叫做網(wǎng)絡(luò)給你的信令時(shí)間。不同的信令它的Post dial delay是不一樣的。
　　SIP是統(tǒng)一通信里面用的最多的信令，這個(gè)大家是非常熟悉的，比如說Response Time就是發(fā)出去100Trying的時(shí)間。
　　另外思博倫想強(qiáng)調(diào)一點(diǎn)我們的性能測試真實(shí)性，其實(shí)這一點(diǎn)非常重要。有許多朋友就說你們?yōu)槭裁床捎眠@種測試方法，我們自己有軟件的測試完全可以替代，這里我們要強(qiáng)調(diào)一個(gè)真實(shí)性，所謂真實(shí)性來說我們仿真的設(shè)備和真實(shí)的設(shè)備要盡可能地接近，舉一個(gè)例子比如說我們仿真一個(gè)模擬電話，要仿真它的物理特性和我們真實(shí)的電話完全一樣，這樣的仿真才叫真實(shí)性的仿真。如果我們用一個(gè)反應(yīng)來仿真這些是做不到的。另外軟件的功能也要和真實(shí)的硬件盡可能的接近。
　　仿真測試環(huán)境的真實(shí)性，你搭建的測試性要盡可能接近你的設(shè)備部署到真實(shí)網(wǎng)絡(luò)當(dāng)中去，這樣你測出的結(jié)果放到真實(shí)網(wǎng)絡(luò)里面你的風(fēng)險(xiǎn)才最少，否則的話你測出來值非常高甚至根本沒有測，這樣完全是自欺欺人，有些IP呼叫中心到用戶交互的時(shí)候做一下功能測試有可以了。將來話務(wù)量上去了很多用戶打不通了，就是我們在實(shí)驗(yàn)室里面根本就沒有做這些測試，根本就沒有仿真我們將來可能遇到的高的話務(wù)量要求或者各種不同的呼叫模型，我們沒有事先測試到，所以沒有事先發(fā)現(xiàn)這些問題。
　　仿真真實(shí)環(huán)境還有網(wǎng)絡(luò)損傷的條件，我們訪問一個(gè)IP網(wǎng)絡(luò)，會(huì)有一些網(wǎng)絡(luò)損傷指標(biāo)，我們要用真實(shí)的設(shè)備運(yùn)用真實(shí)的環(huán)境，要測試的時(shí)候特別要注意用戶將來真實(shí)的感受。我們測試的目的并不是說我測試100萬沒有問題了，如果客戶拿起電話要20秒才能聽到聲音，如果放在真實(shí)網(wǎng)絡(luò)里面肯定不行。有些測出來之后加載了100萬BHCA上去摘機(jī)可能需要好幾秒才能聽到聲音，用戶可能就認(rèn)為電話機(jī)壞了，這樣都是我們將來部署到網(wǎng)絡(luò)可能遇到的風(fēng)險(xiǎn)，我們盡可能在實(shí)驗(yàn)室里面把它降到最低，這也是我們強(qiáng)調(diào)真實(shí)性測試的原因。
　　下面我們講一下VOIP測試結(jié)果的分析，比如說語音質(zhì)量不能低于4.0，我測出來結(jié)果是4.1，我符合指標(biāo)。但是有一些分析結(jié)果和我們的想像是相反的，比如說舉一個(gè)例子就是語音質(zhì)量分析的時(shí)候PESQ和E-model是相反的，E- model只反映網(wǎng)絡(luò)傳輸?shù)囊恍�損傷情況，和編解碼造成的語音損傷并沒有很大的關(guān)系。這是我們分析的時(shí)候你在不同的指標(biāo)里差距出現(xiàn)的時(shí)候我們要分析是由什么來造成的。
　　還有語音質(zhì)量和話務(wù)量如果成反比的話就說明你所承載的話務(wù)量已經(jīng)超過了性能要求，比如說你設(shè)計(jì)要求是100萬BHCA，我打到100萬，但是語音質(zhì)量已經(jīng)很差到3.0了，這個(gè)時(shí)候你要把你的性能降下來，降到50萬的時(shí)候可能語音質(zhì)量就很好了，你得到這個(gè)值才是你真實(shí)的值，并不是前面虛假的值。
　　對(duì)于網(wǎng)絡(luò)性能我們還可以做進(jìn)一步的分析，剛才我們都講過了，這里就不多講了。
　　下面舉兩個(gè)例子看一下我們在VOIP性能測試?yán)锩娉Ｒ姷腻e(cuò)誤。第一例子我們測試是接入網(wǎng)關(guān)設(shè)計(jì)能力是15000BHCA，測試結(jié)果也是15000個(gè)，24小時(shí)測試結(jié)果呼損是0，以前我們的測試是達(dá)標(biāo)了符合標(biāo)準(zhǔn)了，但實(shí)際上我們看一下其他的比如說用戶撥完號(hào)聽到忙音達(dá)到1500ms，PESQ達(dá)到3.0，你雖然性能非常好但是你的語音質(zhì)量下降了，時(shí)延很長而且語音質(zhì)量也很長。這個(gè)時(shí)候如果你把你的BHCA降下來，降到10000的時(shí)候看Dial是450ms，PESQ也增長到4.1，這樣的情況才是你真實(shí)的網(wǎng)絡(luò)性能指標(biāo)，也就是AG真實(shí)的最大能力是1萬，放在將來的網(wǎng)絡(luò)里才不會(huì)出現(xiàn)風(fēng)險(xiǎn)。
　　第二種場景也是我們常見的錯(cuò)誤，比如說用戶投訴我們語音質(zhì)量不好，我們用意標(biāo)來仿真兩個(gè)終端做端到端的測試，比如說從北京測上海的用戶，我們進(jìn)行8個(gè)小時(shí)的連續(xù)呼叫語音質(zhì)量很好，PESQ是4.2，但實(shí)際上我們看一下這個(gè)語音質(zhì)量隨時(shí)間變化的曲線，可以看到這個(gè)漏斗非常深，最低值到了1.4，最高值4.5，這樣的漏斗出現(xiàn)說明這個(gè)網(wǎng)絡(luò)穩(wěn)定性很差，也就是有時(shí)候用戶聽不到你的聲音或者聽到很嚴(yán)重的雜音、回聲等等現(xiàn)象都會(huì)出現(xiàn)，這就是用戶投訴的原因。
　　今天有很多IP-PBX和IP呼叫中心的廠家，我們來說一下Abacus的產(chǎn)品可能一些中小企業(yè)不是很熟悉，里面主要有Abacus5000和Abacus100，100主要是提供模擬的用戶。Abacus50是小型的Abacus5000系統(tǒng)，功能完全一樣，它把不同的接口分別做到不同的小盒子，適合分布式測試，也適合小公司做桌面的測試系統(tǒng)，里面提供模擬結(jié)構(gòu)。
　　Abacus是VOIP測試最佳業(yè)績方案，它支持以下設(shè)備測試包括IP PBX、MGCF、SSW等，支持VOIP/PSTN的協(xié)議，可以支持的媒體有voice、video、FAx。
　　IP呼叫中心邏輯結(jié)構(gòu)，我們知道接入方式有多種由IP網(wǎng)絡(luò)接入有電話的接入，現(xiàn)在我們呼叫中心都是采用了分布式的，并不是一個(gè)座席都在一個(gè)廳里，這是集中式的。現(xiàn)在分布式的接你的話務(wù)員，你在北京做投訴并不在北京，可能在成都或者在上海，這是一個(gè)分布式的呼叫中心。比如我們公司的很多話務(wù)員可能在印度或者北京。
　　對(duì)于IP呼叫中心來說，第一部分要做它的性能測試，我們大家知道IP呼叫中心里面重要的一部分是IVR系統(tǒng)，IVR系統(tǒng)里面會(huì)有自動(dòng)語音，比如說歡迎進(jìn)入中國移動(dòng)。這些語音在用戶撥入的時(shí)候多長時(shí)間可以聽到，另外用戶是不是能夠正確的聽到，比如說我一個(gè)正常的用戶接進(jìn)去聽到了歡迎進(jìn)入中國移動(dòng)系統(tǒng)這幾個(gè)字是正常的，但是在高話務(wù)量的情況下有很多人同時(shí)打電話進(jìn)來很有可能它的IVR系統(tǒng)延遲，可能10秒后才能聽到或者聽到錯(cuò)的，把其他菜單里面的語音調(diào)換給你聽的，這些都需要我們解決的一方面。我們看它的歡迎詞是不是正常發(fā)出來，我們多長時(shí)間可以接到。另外還可以進(jìn)入到它每一級(jí)菜單里面，每一級(jí)菜單里面的語音是不是可以正確的回來，這都需要性能測試。還要測試一下回來的聲音語音質(zhì)量怎么樣，是不是有很多的雜音，它的語音質(zhì)量客觀的評(píng)價(jià)指標(biāo)是什么，是不是符合4.0以上的標(biāo)準(zhǔn)，它的延時(shí)是多長，這都是我們做性能測試重要的指標(biāo)。
　　第二部分我要強(qiáng)調(diào)IP呼叫中心的功能測試，IP呼叫中心之所以到現(xiàn)在發(fā)展很快，但是某些時(shí)候會(huì)出一些問題，因?yàn)榇蠖鄶?shù)的生產(chǎn)廠家沒有到現(xiàn)場去測試，給用戶交互的時(shí)候沒有做性能測試只是做了幾個(gè)場景的功能測試就可以了，給客戶演示的時(shí)候座席功能多少強(qiáng)大、呼叫轉(zhuǎn)移非常強(qiáng)等等，實(shí)際任何功能測試都是在背景瀏覽下進(jìn)行，也就是我們的功能測試和性能測試是密不可分的。我們要用性能測試意標(biāo)來仿真出各種可能出現(xiàn)的呼叫模型，辦法一定量的真實(shí)情況，在這種情況下再演示給客戶，我們做的功能測試才是有意義的。我不知道這么說大家能不能清楚，這時(shí)候會(huì)驗(yàn)證出高話務(wù)量情況下對(duì)于呼叫中心處理業(yè)務(wù)量會(huì)有什么樣的影響。
　　另外一個(gè)例子就是IP-PBX，它會(huì)接入IP語音終端、PC，背后的終端可能進(jìn)入IP網(wǎng)絡(luò)也可以是PSTN網(wǎng)絡(luò)，因此在它的性能測試?yán)锩嫖覀兌际褂脺y試工具來方針不同的接口，進(jìn)行融合的測試，來測試一下它的性能指標(biāo)以及資源占用情況。
　　我們還要做一些IP-PBX端到端的測試，我們要仿真真實(shí)的用戶，模擬用戶或者是IP用戶進(jìn)行兩個(gè)兩個(gè)IP-PBX之間的測試，比如你兩個(gè)辦公室一個(gè)在上海一個(gè)在北京，這兩個(gè)辦公室要進(jìn)行IP通話或者模擬通話中間走的是IP網(wǎng)絡(luò)，我們要測一下兩點(diǎn)之間真實(shí)的語音質(zhì)量怎么樣，它的穩(wěn)定性怎么樣，是不是存在性能問題。
　　今天和大家交流了思博倫的VOIP測試經(jīng)驗(yàn)和方法，如果大家有興趣的話我們還有展臺(tái)，也提供了一些文字的資料。
　　謝謝大家!

ChinaByte(e.chinabyte.com)