I.介紹
在今天的Internet,對(duì)多媒體服務(wù)的需求呈現(xiàn)快速增長(zhǎng)的趨勢(shì)。因此,很多當(dāng)前和將來的移動(dòng)網(wǎng)絡(luò),如GSM-GPRS,UMTS和CDMA-2000,包含一個(gè)多變的基于包的傳輸模式,幾乎可以在所有的移動(dòng)終端上進(jìn)行任何類型的基于IP的的數(shù)據(jù)傳輸,這樣就可以提供給用戶一個(gè)簡(jiǎn)單靈活的傳輸界面。第三代合作方案(3GPP)已經(jīng)選擇了幾個(gè)多媒體編碼器包含在他們的多媒體規(guī)范里面。為3G無線系統(tǒng)提供基本的視頻服務(wù),在建立好的規(guī)范里已經(jīng)集成了H.263和MPEG-4 v SP。這個(gè)選擇是在編解碼可管理復(fù)雜性的基礎(chǔ)上完成的。
由于受無線網(wǎng)絡(luò)有限的帶寬資源和傳輸能力的限制,目前市場(chǎng)上最終用戶大部分是按照流量付費(fèi)的方式來使用無線網(wǎng)絡(luò)數(shù)據(jù)服務(wù)的。因此,提高壓縮效率是無線視頻和多媒體應(yīng)用的主要目標(biāo)。 因此,H.264/ AVC編碼標(biāo)準(zhǔn)成為在多媒體信息服務(wù)(MMS)、包交換流服務(wù)(PSS)和會(huì)話應(yīng)用方面最有競(jìng)爭(zhēng)力的候選標(biāo)準(zhǔn)。然而,要使視頻在不同的環(huán)境下傳輸,不但需要高效率的編碼,同時(shí)經(jīng)過編碼的視頻應(yīng)該很容易地?zé)o縫集成到當(dāng)前和未來的網(wǎng)絡(luò)協(xié)議架構(gòu)當(dāng)中。除此之外,視頻編碼在會(huì)話應(yīng)用中提高容錯(cuò)的支持是重要的,這也是在編碼標(biāo)準(zhǔn)化過程中被考慮的因素之一。
這篇文章是按照以下結(jié)構(gòu)來組織的,第二部分介紹無線視頻應(yīng)用的各種應(yīng)用程序和傳輸特征。采用H.264/AVC編碼的視頻傳輸進(jìn)行了簡(jiǎn)單的討論以及對(duì)移動(dòng)視頻傳輸在普通環(huán)境下的測(cè)試的介紹。第三部分總結(jié)了H.264/AVC視頻編碼標(biāo)準(zhǔn)在無線視頻應(yīng)用領(lǐng)域的前景。我們根據(jù)不同的視頻服務(wù)應(yīng)用進(jìn)行了分類描寫。第四部分討論了時(shí)延約束和差錯(cuò)控制這兩個(gè)最具挑戰(zhàn)性的應(yīng)用,也就是無線會(huì)話應(yīng)用程序。在這里通過利用H.264/AVC以及聯(lián)合其它幾個(gè)方式的系統(tǒng)設(shè)計(jì)方案進(jìn)行了系統(tǒng)描述和問題的表達(dá)。第五部分提供了在普通環(huán)境下對(duì)所選系統(tǒng)的測(cè)試結(jié)果。
II.視頻在移動(dòng)網(wǎng)絡(luò)
A.概述:應(yīng)用和局限性
以下三個(gè)主要的服務(wù)標(biāo)志著H.263/AVC標(biāo)準(zhǔn)的進(jìn)程:
雖然新的服務(wù)如多媒體廣播/組播服務(wù)(MBMS)是未來無線網(wǎng)絡(luò)的發(fā)展計(jì)劃,但我們被約束成單一的應(yīng)用程序接受者。移動(dòng)手持設(shè)備受處理器速度和存儲(chǔ)容量的限制,因此,移動(dòng)視頻編碼的設(shè)計(jì)必須以最低復(fù)雜度和最高效率為目標(biāo)。正如其它文章所討論的復(fù)雜問題一樣,我們將自己約束在傳輸和工具上。以上三點(diǎn)定義的應(yīng)用可以在預(yù)定的的傳輸帶寬里面,最大限度地允許端到端的時(shí)延,在不同的系統(tǒng)結(jié)構(gòu)有不同的結(jié)果,一個(gè)簡(jiǎn)單的圖示如圖一。
由于MMS沒實(shí)時(shí)性的約束,編碼,傳輸和解碼完全分離。記錄的視頻信號(hào)進(jìn)行離線編碼和本地存儲(chǔ)。可以在任何時(shí)間進(jìn)行發(fā)送,接受端在完全下載下來后才進(jìn)行解碼。
對(duì)于PSS應(yīng)用程序來講,用戶典型地請(qǐng)求已經(jīng)編碼好并存放在服務(wù)器的隊(duì)列。反之編碼和傳輸是分開的,解碼和顯示是在移動(dòng)設(shè)備的時(shí)延和內(nèi)存的使用率最小時(shí)開始。
最后,在會(huì)話服務(wù)中端到端的時(shí)延已經(jīng)最小化來避免可視的干擾和保持視頻和音頻的同步。然而,編碼、傳輸和解碼實(shí)時(shí)地在雙向同時(shí)進(jìn)行。這些不同的額外情況需要不同的策略去編碼、傳輸和解碼, 如下面的網(wǎng)絡(luò)和控制結(jié)構(gòu)圖。
一般而言,通過無線網(wǎng)絡(luò)來傳輸數(shù)據(jù)的可用帶寬是有限的,用戶則希望他們使用無線網(wǎng)絡(luò)所付出的代價(jià)與其低帶寬是成正比的。因此,低碼流很適合大眾,在移動(dòng)環(huán)境的視頻編碼標(biāo)準(zhǔn)的成功取決于壓縮效率。這樣使H.264/AVC成為了無線系統(tǒng)的最佳候選標(biāo)準(zhǔn),因?yàn)樗奶攸c(diǎn)就是高效率壓縮。
另外,在無線系統(tǒng)設(shè)計(jì)的新方向中不需要將誤碼率降到最低,但是吞吐量的最大化是必須的。這尤其對(duì)時(shí)延要求不高的服務(wù),例如PSS和MMS。信道的狀態(tài)對(duì)服務(wù)的使用有很大的影響,在信道狀態(tài)好的時(shí)候較可傳輸?shù)臄?shù)據(jù)流大大高于信道較差的時(shí)候。除此之外,可靠的鏈路層協(xié)議ARQ(Automatic Repeat reQuest) 通常用來保證無錯(cuò)誤發(fā)送。舉例來說,在高速下載鏈路包訪問(HSDPA)概念中的ARQ,無線系統(tǒng)里有效地提高吞吐量,適應(yīng)的模塊化方案和多用戶規(guī)劃需要被列入考慮的范圍。
3G無線傳輸堆棧通常由二種不同類型的輸送介質(zhì)組成,專用和共享信道。然而,使用專用信道用戶可以獲得固定帶寬用于傳輸數(shù)據(jù),但使用共享信道用戶只有在動(dòng)態(tài)的帶寬下傳輸數(shù)據(jù),類似于ATM或GSM GPRS。HSDPA將會(huì)成為共享信道在空中的一個(gè)擴(kuò)展。除了MMS,在3G系統(tǒng)的初始階段所有的流媒體和會(huì)話應(yīng)用都希望使用專用信道。 在現(xiàn)代的系統(tǒng)設(shè)計(jì)中,一個(gè)應(yīng)用可以請(qǐng)求許多不同的服務(wù)質(zhì)量(QoS)級(jí)別的其中之一。服務(wù)質(zhì)量級(jí)別包含最大誤碼率、最大延遲和最大保證的帶寬等參數(shù)。此外,通常根據(jù)不同的應(yīng)用分為不同的服務(wù)級(jí)別:會(huì)話應(yīng)用、流媒體應(yīng)用、交互應(yīng)用以及后臺(tái)通信應(yīng)用。特性和典型的例子見表1。
B.H.264/AVC視頻在無線的系統(tǒng)的傳送
根據(jù)圖2,H.264/ AVC在不同的概念層上區(qū)分開來,視頻編碼層(VCL)和網(wǎng)絡(luò)抽象層(NAL)。VCL和NAL都是H.264/ AVC標(biāo)準(zhǔn)的一部份。VCL對(duì)視頻編碼信號(hào)進(jìn)行了有效的說明。H.264/AVC的NAL定義了視頻編碼和外面世界之間的接口。它通過NAL單元來支持大部分基于包的網(wǎng)絡(luò)。在NAL解碼接口,它假設(shè)NAL單元已經(jīng)通過解碼命令被發(fā)送,數(shù)據(jù)包要么被正確接受,要么丟失,如果有效載荷里包括了錯(cuò)誤的數(shù)據(jù)流,NAL單元的頭就會(huì)產(chǎn)生一個(gè)錯(cuò)誤的標(biāo)記。由于標(biāo)記可以用于不同的目的,因此它并不作為標(biāo)準(zhǔn)的一部分。然而,它提供一個(gè)在整個(gè)網(wǎng)絡(luò)里提供錯(cuò)誤指示信號(hào)的方法。此外,接口規(guī)范要求標(biāo)準(zhǔn)化主體有責(zé)任對(duì)不同傳送協(xié)議進(jìn)行描述。NAL單元在不同傳輸系統(tǒng)的精確傳輸和加密,例如H.320,MPEG-2系統(tǒng)和RTP/IP,也同樣在h.264/AVC標(biāo)準(zhǔn)化的范疇以外。在標(biāo)準(zhǔn)里面正式定義了NAL解碼接口,然而,VCL和NAL之間的接口只是概念上的定義,主要是幫助描述和分開VCL和NAL的任務(wù)。
在3G網(wǎng)絡(luò)上面的實(shí)時(shí)視頻服務(wù),兩個(gè)協(xié)議堆棧是最重要的。3GPP為電路交換信道定義了一個(gè)多媒體電話服務(wù)協(xié)議,就是基于ITU-T建議的H.324M。3GPP已經(jīng)選擇了SIP和SDP作為呼叫控制協(xié)議以及RTP作為媒體傳輸協(xié)議。換句話說,基于IP的包交換通信會(huì)在當(dāng)前應(yīng)用于包交換的3G移動(dòng)服務(wù)。雖然H.324和RTP/UDP/IP協(xié)議堆棧有不同的根源和完全不同的交換哲學(xué),但媒體數(shù)據(jù)在傳輸時(shí)的丟包、延時(shí)等特性在無線網(wǎng)絡(luò)和有線網(wǎng)絡(luò)都是非常相似的。
ITU-T建立H.324主要應(yīng)用于低碼流的電路交換鏈路,以及低碼流的移動(dòng)電路交換會(huì)話服務(wù)。ITU-T Rec. H.324附件C將H.324正式命名為H.324M,允許在中低碼流或低誤碼下高碼流情況下的傳輸。在3GPP采用的H.324M協(xié)議中,包括一個(gè)錯(cuò)誤多路技術(shù)協(xié)議H.223附件B,用于電路交換的視頻通信。這個(gè)多路技術(shù)協(xié)議包括兩層:基于包的多路技術(shù)容錯(cuò)層和公共錯(cuò)誤檢測(cè)性能適應(yīng)層,例如 ,順序編號(hào)和循環(huán)碼校驗(yàn)冗余檢測(cè)。 因此,它跟RTP/UDP/ IP堆棧非常相似。
因?yàn)榘粨Q服務(wù),3GPP/3GPP2同意了一個(gè)基于IP的協(xié)議棧。圖3展示了一個(gè)NAL單元通過3GPP2用戶平面協(xié)議堆棧被封裝在RTP/UDP/IP的典型過程。在頭壓縮(RoHC)后,此IP/UDP/RTP包被封裝進(jìn)一個(gè)PDCP/PPP2包,變成了頻率鏈路控制(RLC)和服務(wù)數(shù)據(jù)單元(SDU)。RLC協(xié)議可以在三種模式下工作:透明、非確認(rèn)和確認(rèn)模式。RLC協(xié)議為用戶和數(shù)據(jù)提供分段和重傳服務(wù)。在透明和非確認(rèn)模式,RLC被定義為單向的;在確認(rèn)模式,RLC被定義為雙向的。對(duì)於所有的RLC模式,循環(huán)冗余檢查(CRC)的錯(cuò)誤檢測(cè)在物理層上被運(yùn)行,而且CRC檢查的結(jié)果和真實(shí)的數(shù)據(jù)一起被遞送到 RLC。在透明模式中,沒有上層的協(xié)議被增加到較高層的數(shù)據(jù)中。錯(cuò)誤的協(xié)議數(shù)據(jù)單元(PDUs)可以被丟棄或標(biāo)記為錯(cuò)誤。在非確認(rèn)模式中,沒有重傳協(xié)議在使用中,而且數(shù)據(jù)傳送沒有保證。接受到的錯(cuò)誤數(shù)據(jù)根據(jù)配置來決定丟棄或標(biāo)記為錯(cuò)誤。在確認(rèn)模式中,一種自動(dòng)的重復(fù)請(qǐng)求機(jī)制被用于錯(cuò)誤訂正。
由于視頻包是自然改變長(zhǎng)度的,RLC-SDU的長(zhǎng)度也改變。如果一個(gè)RLC-SDU比一個(gè)RLC-PDU長(zhǎng),PDU就會(huì)被分割成幾個(gè)PDU。 在使用過的模式中,非確認(rèn)和確認(rèn)的模式中,為了避免數(shù)據(jù)的減弱,大小可變的RLC-SDU的流動(dòng)是可變,在透明模式也是如此。在非確認(rèn)模式中,如果任何包含特定RLC-SDU數(shù)據(jù)的RLC- PDU數(shù)據(jù)沒有被正確地接收到,RLC-SDU典型地被丟棄。在確認(rèn)模式中,RLC/RLP層可以執(zhí)行重傳。
此外,H.324和RTP/IP/UDP協(xié)議棧使用可靠的調(diào)整和控制協(xié)議,H.245和SIP也分別一樣。 因此,它可以表明很少量的控制數(shù)據(jù)可以在一定的范圍里可靠地傳輸。 在兩個(gè)情形中的實(shí)時(shí)低時(shí)延的視頻傳輸是非常相似的。 包通過底層的傳輸協(xié)議和信道來傳輸, 提供校位、封包、錯(cuò)誤檢測(cè)和可靠的調(diào)整。 我們將來的焦點(diǎn)集中在 通過無線信道進(jìn)行基于RTP/IP的傳輸。
C. 無線視頻的普通測(cè)試環(huán)境
位率差錯(cuò)在文件中的是獨(dú)立統(tǒng)計(jì)統(tǒng)計(jì),正如信號(hào)在3G系統(tǒng)編碼和解碼的時(shí)候發(fā)生錯(cuò)誤一樣。這為以下的位率差錯(cuò)模板文件所考慮。數(shù)組1和2 適合應(yīng)用于視頻流媒體,數(shù)據(jù)在RLP/ RLC層可以重傳而且可以修正許多丟失的幀。 可以接受的信道編碼策略是使用C語言的編碼策略以及目標(biāo)吞吐量最大化和錯(cuò)誤最小化的能力控制。數(shù)組1和2 對(duì)會(huì)話服務(wù)是不切實(shí)際的,因?yàn)樵趫D象質(zhì)量可以接受的情況下,在沒有重傳機(jī)制的情況下不能夠承受如此高的錯(cuò)誤碼流。
數(shù)組3到6的仿真結(jié)果更可靠,在會(huì)話應(yīng)用中需要低錯(cuò)誤率的運(yùn)送者。 假定一任意的字節(jié)的開始位置在文件包可能發(fā)生錯(cuò)誤的位置里面。 這些錯(cuò)誤可能性的所有數(shù)據(jù)錯(cuò)誤在圖4中被顯示。 明顯可以看出錯(cuò)誤率會(huì)因?yàn)榘L(zhǎng)度的增加而提高。從位率錯(cuò)誤表格(BEP1和2)可知,當(dāng)包長(zhǎng)度減少的時(shí)候丟包率是不可以接受的, 舉例來說,500個(gè)字節(jié), 丟失可能性高達(dá)25%. 高的錯(cuò)誤率需要在鏈路層上重傳。
這個(gè)圖表為合適包長(zhǎng)度的會(huì)話服務(wù)提供了非常有分寸的錯(cuò)誤特性分析。1000字節(jié)的合理包長(zhǎng)度的錯(cuò)誤特性可以低于5%. 這意味典型的固定英特網(wǎng)丟包的可能性不會(huì)被超過。但要注意,高速移動(dòng)(50 km/h)的用戶的信道狀況比步行(3 km/h)用戶要差得多。 因此,快速移動(dòng)用戶的錯(cuò)誤率通常高與慢移動(dòng)的使用者。
在標(biāo)準(zhǔn)化的過程中,標(biāo)準(zhǔn)的開始應(yīng)該包含基于IP的有線和無線傳輸?shù)娜蒎e(cuò)特征。在今天的傳輸系統(tǒng)中通常有兩種類型的錯(cuò)誤:錯(cuò)位和丟包。 然而,所有相關(guān)多路傳輸協(xié)議如H.223和UDP/IP和幾乎所有的移動(dòng)系統(tǒng)都具備通過數(shù)字排隊(duì)和塊檢測(cè)排隊(duì)來進(jìn)行丟包和錯(cuò)位檢測(cè)的能力。因此,可以斷定大部分被錯(cuò)誤傳輸?shù)陌寄軌虮粰z測(cè)到。 而且,即使包被檢測(cè)到包含位錯(cuò)誤,解碼也可以被嘗試進(jìn)行。這一點(diǎn)在某些研究已經(jīng)被證實(shí),在一些方案中,靜止圖的像傳輸已經(jīng)被報(bào)告。然而,在H.264/ AVC 標(biāo)準(zhǔn)的開發(fā)考軟件里面,基于以下的幾點(diǎn)原因,含有位錯(cuò)誤的包應(yīng)被接受者考慮丟棄:
1. 處理含有位錯(cuò)誤的包類似于通過移動(dòng)設(shè)備來接收數(shù)據(jù)一樣,網(wǎng)關(guān)和接收者都是通過丟棄錯(cuò)誤的包來使用網(wǎng)絡(luò)連接的。
除了定向接收器的錯(cuò)誤檢測(cè),錯(cuò)誤可能在傳輸路徑的任何地方被發(fā)現(xiàn)并且馬上發(fā)送信號(hào)。RTP草案里面關(guān)于H.264/ AVC有效載荷的定義里面包含了超出有效載荷指示的定義。當(dāng)重新發(fā)送接收到的被修正錯(cuò)誤的數(shù)據(jù)流的時(shí)候發(fā)射器能設(shè)定這個(gè)指示。此外,如果傳輸錯(cuò)誤在相應(yīng)的數(shù)據(jù)包中被發(fā)現(xiàn),任何的中間網(wǎng)絡(luò)元素能消除這個(gè)標(biāo)記。因此,錯(cuò)誤的有效載荷可以通過一個(gè)網(wǎng)絡(luò),而且解碼器或任何網(wǎng)關(guān)能決定是否將這個(gè)錯(cuò)誤的NAL單元解碼或丟棄。
廣州富年電子科技公司摘譯供稿 CTI論壇編輯