H.264/AVC在無線環(huán)境的應(yīng)用
Thomas Stockhammer, Miska M. Hannuksela, and Thomas Wiegand
2004/03/09
摘要----視頻在無線網(wǎng)絡(luò)的傳輸對高效率的壓縮和網(wǎng)絡(luò)的完善設(shè)計是一個極具挑戰(zhàn)性的任務(wù)。這已經(jīng)成為H.264/AVC編碼標(biāo)準(zhǔn)化在非正式應(yīng)用（如可視電話）和正式應(yīng)用（如存儲、廣播、流媒體）領(lǐng)域的主要目標(biāo)。H.264/AVC視頻編碼層的視頻壓縮性能有了巨大的提高。基于H.264/AVC的網(wǎng)絡(luò)完善設(shè)計的目標(biāo)是通過網(wǎng)絡(luò)抽象層來實(shí)現(xiàn)的，這已經(jīng)被開發(fā)出來用于在任何現(xiàn)有的和將來的網(wǎng)絡(luò)包括無線網(wǎng)絡(luò)來傳輸經(jīng)過編碼的視頻數(shù)據(jù)。本文的主要目標(biāo)是H.264/AVC在無線系統(tǒng)應(yīng)用方面的一個概述，其中最重要的是H.264/AVC在無線會話服務(wù)中的應(yīng)用。所有的這些應(yīng)用都是通過不同的工具以及實(shí)驗(yàn)來證明過的。
I．介紹
自1997年以來，ITU-T的視頻編碼專家組（VCEG）就開始制訂一個新的視頻編碼標(biāo)準(zhǔn)并在內(nèi)部命名為H.26L。在2001年后期，運(yùn)動圖像專家組（MPEG）和VCEG決定共同成立一個聯(lián)合視頻組（JVT），為ITU-T即將推薦的H.264/AVC以及MPEG-4最新的部分AVC創(chuàng)立一個單獨(dú)的技術(shù)設(shè)計。JVT成立后，技術(shù)規(guī)范、標(biāo)準(zhǔn)文檔以及軟件在2002年11月已經(jīng)制訂下來。H.264/AVC的主要目標(biāo)就是提高編碼效率和提高網(wǎng)絡(luò)適應(yīng)性。在相同的圖象質(zhì)量下，H.264/AVC的算法比以前的標(biāo)準(zhǔn)如ITU-T REC.H.263和ISO/IEC JTC 1 MPEG-4的碼流都大為降低。
在今天的Internet，對多媒體服務(wù)的需求呈現(xiàn)快速增長的趨勢。因此，很多當(dāng)前和將來的移動網(wǎng)絡(luò)，如GSM-GPRS，UMTS和CDMA-2000，包含一個多變的基于包的傳輸模式，幾乎可以在所有的移動終端上進(jìn)行任何類型的基于IP的的數(shù)據(jù)傳輸，這樣就可以提供給用戶一個簡單靈活的傳輸界面。第三代合作方案（3GPP）已經(jīng)選擇了幾個多媒體編碼器包含在他們的多媒體規(guī)范里面。為3G無線系統(tǒng)提供基本的視頻服務(wù)，在建立好的規(guī)范里已經(jīng)集成了H.263和MPEG-4 v SP。這個選擇是在編解碼可管理復(fù)雜性的基礎(chǔ)上完成的。
由于受無線網(wǎng)絡(luò)有限的帶寬資源和傳輸能力的限制，目前市場上最終用戶大部分是按照流量付費(fèi)的方式來使用無線網(wǎng)絡(luò)數(shù)據(jù)服務(wù)的。因此，提高壓縮效率是無線視頻和多媒體應(yīng)用的主要目標(biāo)。 因此，H.264/ AVC編碼標(biāo)準(zhǔn)成為在多媒體信息服務(wù)(MMS)、包交換流服務(wù)(PSS)和會話應(yīng)用方面最有競爭力的候選標(biāo)準(zhǔn)。然而,要使視頻在不同的環(huán)境下傳輸，不但需要高效率的編碼，同時經(jīng)過編碼的視頻應(yīng)該很容易地?zé)o縫集成到當(dāng)前和未來的網(wǎng)絡(luò)協(xié)議架構(gòu)當(dāng)中。除此之外，視頻編碼在會話應(yīng)用中提高容錯的支持是重要的，這也是在編碼標(biāo)準(zhǔn)化過程中被考慮的因素之一。
這篇文章是按照以下結(jié)構(gòu)來組織的，第二部分介紹無線視頻應(yīng)用的各種應(yīng)用程序和傳輸特征。采用H.264/AVC編碼的視頻傳輸進(jìn)行了簡單的討論以及對移動視頻傳輸在普通環(huán)境下的測試的介紹。第三部分總結(jié)了H.264/AVC視頻編碼標(biāo)準(zhǔn)在無線視頻應(yīng)用領(lǐng)域的前景。我們根據(jù)不同的視頻服務(wù)應(yīng)用進(jìn)行了分類描寫。第四部分討論了時延約束和差錯控制這兩個最具挑戰(zhàn)性的應(yīng)用，也就是無線會話應(yīng)用程序。在這里通過利用H.264/AVC以及聯(lián)合其它幾個方式的系統(tǒng)設(shè)計方案進(jìn)行了系統(tǒng)描述和問題的表達(dá)。第五部分提供了在普通環(huán)境下對所選系統(tǒng)的測試結(jié)果。
II．視頻在移動網(wǎng)絡(luò)
A.概述：應(yīng)用和局限性
移動終端傳輸視頻流是3G網(wǎng)絡(luò)成功的一個重要應(yīng)用之一。移動終端的幾個最新視頻應(yīng)用為3G應(yīng)用提供了很好的鋪墊。
以下三個主要的服務(wù)標(biāo)志著H.263/AVC標(biāo)準(zhǔn)的進(jìn)程：
1） 應(yīng)用于視頻電話和視頻會議的電路交換和包交換會話服務(wù)（PCS）
2） 應(yīng)用于直播和視頻錄象的包交換流媒體服務(wù)（PSS）
3） 多媒體信息服務(wù)（MMS）
雖然新的服務(wù)如多媒體廣播/組播服務(wù)（MBMS）是未來無線網(wǎng)絡(luò)的發(fā)展計劃，但我們被約束成單一的應(yīng)用程序接受者。移動手持設(shè)備受處理器速度和存儲容量的限制，因此，移動視頻編碼的設(shè)計必須以最低復(fù)雜度和最高效率為目標(biāo)。正如其它文章所討論的復(fù)雜問題一樣，我們將自己約束在傳輸和工具上。以上三點(diǎn)定義的應(yīng)用可以在預(yù)定的的傳輸帶寬里面，最大限度地允許端到端的時延，在不同的系統(tǒng)結(jié)構(gòu)有不同的結(jié)果，一個簡單的圖示如圖一。
由于MMS沒實(shí)時性的約束，編碼，傳輸和解碼完全分離。記錄的視頻信號進(jìn)行離線編碼和本地存儲。可以在任何時間進(jìn)行發(fā)送，接受端在完全下載下來后才進(jìn)行解碼。
對于PSS應(yīng)用程序來講，用戶典型地請求已經(jīng)編碼好并存放在服務(wù)器的隊列。反之編碼和傳輸是分開的，解碼和顯示是在移動設(shè)備的時延和內(nèi)存的使用率最小時開始。
最后，在會話服務(wù)中端到端的時延已經(jīng)最小化來避免可視的干擾和保持視頻和音頻的同步。然而，編碼、傳輸和解碼實(shí)時地在雙向同時進(jìn)行。這些不同的額外情況需要不同的策略去編碼、傳輸和解碼, 如下面的網(wǎng)絡(luò)和控制結(jié)構(gòu)圖。
一般而言，通過無線網(wǎng)絡(luò)來傳輸數(shù)據(jù)的可用帶寬是有限的，用戶則希望他們使用無線網(wǎng)絡(luò)所付出的代價與其低帶寬是成正比的。因此，低碼流很適合大眾，在移動環(huán)境的視頻編碼標(biāo)準(zhǔn)的成功取決于壓縮效率。這樣使H.264/AVC成為了無線系統(tǒng)的最佳候選標(biāo)準(zhǔn)，因?yàn)樗奶攸c(diǎn)就是高效率壓縮。
除此之外，移動網(wǎng)絡(luò)由于受地理環(huán)境、天氣以及多用戶沖突等因素的影響，造成網(wǎng)絡(luò)波動較大。頻道變化的頻率高度地依賴環(huán)境、用戶的位置、用戶移動的速度和信號載波的頻率。 通過信號統(tǒng)計進(jìn)行長代碼的平衡是可以充分實(shí)現(xiàn)的，因此傳輸策略可以根據(jù)長時間的數(shù)據(jù)測試來進(jìn)行制訂。在3G系統(tǒng)中應(yīng)用C語言可以使許多高度復(fù)雜的廣播鏈路頻道情況得以優(yōu)化，例如寬帶接入、差異技術(shù)、時空編碼、多天線系統(tǒng)、快速控制、交叉以及錯誤修復(fù)轉(zhuǎn)發(fā)。然而,這些高級的技術(shù)只是對快速移動的用戶和相對較大時延的應(yīng)用來提供可以忽略不計的位錯誤和丟包率。 通常，由于信道不穩(wěn)定的原因，在低時延的應(yīng)用里面不得不忽略一些殘留的錯誤。 因此,除了高壓縮效率和合理的復(fù)雜性,適用于無線環(huán)境會話服務(wù)的視頻編碼標(biāo)準(zhǔn)必須具有較高的抗誤碼的能力。
另外，在無線系統(tǒng)設(shè)計的新方向中不需要將誤碼率降到最低,但是吞吐量的最大化是必須的。這尤其對時延要求不高的服務(wù)，例如PSS和MMS。信道的狀態(tài)對服務(wù)的使用有很大的影響，在信道狀態(tài)好的時候較可傳輸?shù)臄?shù)據(jù)流大大高于信道較差的時候。除此之外，可靠的鏈路層協(xié)議ARQ（Automatic Repeat reQuest） 通常用來保證無錯誤發(fā)送。舉例來說,在高速下載鏈路包訪問(HSDPA)概念中的ARQ，無線系統(tǒng)里有效地提高吞吐量，適應(yīng)的模塊化方案和多用戶規(guī)劃需要被列入考慮的范圍。
3G無線傳輸堆棧通常由二種不同類型的輸送介質(zhì)組成，專用和共享信道。然而，使用專用信道用戶可以獲得固定帶寬用于傳輸數(shù)據(jù)，但使用共享信道用戶只有在動態(tài)的帶寬下傳輸數(shù)據(jù)，類似于ATM或GSM GPRS。HSDPA將會成為共享信道在空中的一個擴(kuò)展。除了MMS,在3G系統(tǒng)的初始階段所有的流媒體和會話應(yīng)用都希望使用專用信道。 在現(xiàn)代的系統(tǒng)設(shè)計中，一個應(yīng)用可以請求許多不同的服務(wù)質(zhì)量(QoS)級別的其中之一。服務(wù)質(zhì)量級別包含最大誤碼率、最大延遲和最大保證的帶寬等參數(shù)。此外,通常根據(jù)不同的應(yīng)用分為不同的服務(wù)級別:會話應(yīng)用、流媒體應(yīng)用、交互應(yīng)用以及后臺通信應(yīng)用。特性和典型的例子見表1。
B.H.264/AVC視頻在無線的系統(tǒng)的傳送
根據(jù)圖2，H.264/ AVC在不同的概念層上區(qū)分開來，視頻編碼層(VCL)和網(wǎng)絡(luò)抽象層(NAL)。VCL和NAL都是H.264/ AVC標(biāo)準(zhǔn)的一部份。VCL對視頻編碼信號進(jìn)行了有效的說明。H.264/AVC的NAL定義了視頻編碼和外面世界之間的接口。它通過NAL單元來支持大部分基于包的網(wǎng)絡(luò)。在NAL解碼接口，它假設(shè)NAL單元已經(jīng)通過解碼命令被發(fā)送，數(shù)據(jù)包要么被正確接受，要么丟失，如果有效載荷里包括了錯誤的數(shù)據(jù)流，NAL單元的頭就會產(chǎn)生一個錯誤的標(biāo)記。由于標(biāo)記可以用于不同的目的，因此它并不作為標(biāo)準(zhǔn)的一部分。然而,它提供一個在整個網(wǎng)絡(luò)里提供錯誤指示信號的方法。此外，接口規(guī)范要求標(biāo)準(zhǔn)化主體有責(zé)任對不同傳送協(xié)議進(jìn)行描述。NAL單元在不同傳輸系統(tǒng)的精確傳輸和加密,例如H.320,MPEG-2系統(tǒng)和RTP/IP,也同樣在h.264/AVC標(biāo)準(zhǔn)化的范疇以外。在標(biāo)準(zhǔn)里面正式定義了NAL解碼接口,然而，VCL和NAL之間的接口只是概念上的定義，主要是幫助描述和分開VCL和NAL的任務(wù)。
在3G網(wǎng)絡(luò)上面的實(shí)時視頻服務(wù),兩個協(xié)議堆棧是最重要的。3GPP為電路交換信道定義了一個多媒體電話服務(wù)協(xié)議，就是基于ITU-T建議的H.324M。3GPP已經(jīng)選擇了SIP和SDP作為呼叫控制協(xié)議以及RTP作為媒體傳輸協(xié)議。換句話說，基于IP的包交換通信會在當(dāng)前應(yīng)用于包交換的3G移動服務(wù)。雖然H.324和RTP/UDP/IP協(xié)議堆棧有不同的根源和完全不同的交換哲學(xué),但媒體數(shù)據(jù)在傳輸時的丟包、延時等特性在無線網(wǎng)絡(luò)和有線網(wǎng)絡(luò)都是非常相似的。
ITU-T建立H.324主要應(yīng)用于低碼流的電路交換鏈路，以及低碼流的移動電路交換會話服務(wù)。ITU-T Rec. H.324附件C將H.324正式命名為H.324M,允許在中低碼流或低誤碼下高碼流情況下的傳輸。在3GPP采用的H.324M協(xié)議中，包括一個錯誤多路技術(shù)協(xié)議H.223附件B，用于電路交換的視頻通信。這個多路技術(shù)協(xié)議包括兩層:基于包的多路技術(shù)容錯層和公共錯誤檢測性能適應(yīng)層,例如 ，順序編號和循環(huán)碼校驗(yàn)冗余檢測。 因此,它跟RTP/UDP/ IP堆棧非常相似。
因?yàn)榘粨Q服務(wù),3GPP/3GPP2同意了一個基于IP的協(xié)議棧。圖3展示了一個NAL單元通過3GPP2用戶平面協(xié)議堆棧被封裝在RTP/UDP/IP的典型過程。在頭壓縮（RoHC）后，此IP/UDP/RTP包被封裝進(jìn)一個PDCP/PPP2包，變成了頻率鏈路控制（RLC）和服務(wù)數(shù)據(jù)單元（SDU）。RLC協(xié)議可以在三種模式下工作：透明、非確認(rèn)和確認(rèn)模式。RLC協(xié)議為用戶和數(shù)據(jù)提供分段和重傳服務(wù)。在透明和非確認(rèn)模式，RLC被定義為單向的；在確認(rèn)模式，RLC被定義為雙向的。對於所有的RLC模式，循環(huán)冗余檢查(CRC)的錯誤檢測在物理層上被運(yùn)行，而且CRC檢查的結(jié)果和真實(shí)的數(shù)據(jù)一起被遞送到 RLC。在透明模式中，沒有上層的協(xié)議被增加到較高層的數(shù)據(jù)中。錯誤的協(xié)議數(shù)據(jù)單元（PDUs）可以被丟棄或標(biāo)記為錯誤。在非確認(rèn)模式中，沒有重傳協(xié)議在使用中，而且數(shù)據(jù)傳送沒有保證。接受到的錯誤數(shù)據(jù)根據(jù)配置來決定丟棄或標(biāo)記為錯誤。在確認(rèn)模式中，一種自動的重復(fù)請求機(jī)制被用于錯誤訂正。
由于視頻包是自然改變長度的,RLC-SDU的長度也改變。如果一個RLC-SDU比一個RLC-PDU長，PDU就會被分割成幾個PDU。 在使用過的模式中，非確認(rèn)和確認(rèn)的模式中，為了避免數(shù)據(jù)的減弱，大小可變的RLC-SDU的流動是可變，在透明模式也是如此。在非確認(rèn)模式中，如果任何包含特定RLC-SDU數(shù)據(jù)的RLC- PDU數(shù)據(jù)沒有被正確地接收到,RLC-SDU典型地被丟棄。在確認(rèn)模式中，RLC/RLP層可以執(zhí)行重傳。
此外，H.324和RTP/IP/UDP協(xié)議棧使用可靠的調(diào)整和控制協(xié)議，H.245和SIP也分別一樣。 因此，它可以表明很少量的控制數(shù)據(jù)可以在一定的范圍里可靠地傳輸。
在兩個情形中的實(shí)時低時延的視頻傳輸是非常相似的。 包通過底層的傳輸協(xié)議和信道來傳輸, 提供校位、封包、錯誤檢測和可靠的調(diào)整。 我們將來的焦點(diǎn)集中在
通過無線信道進(jìn)行基于RTP/IP的傳輸。
C. 無線視頻的普通測試環(huán)境
在H.264/AVC的標(biāo)準(zhǔn)化進(jìn)程中，移動視頻傳輸?shù)闹匾砸呀?jīng)在3G移動傳輸里面通過對基于H.324M的電路交換會話服務(wù)、包交換會話和流服務(wù)得到了證實(shí)。這些測試情況允許適當(dāng)?shù)木幋a特征、測試和容錯仿真等特征的選擇,同時也可以得到有意義的測試結(jié)果。在本文，我們將會把重心集中在基于IP的測試情況。在正常的測試情況下，我們會定義6個測試情形組合，主要測試通過3G移動網(wǎng)絡(luò)的包交換會話服務(wù)和包交換流媒體服務(wù)。另外，測試環(huán)境包括簡單的脫機(jī)3GPP/3GPP2仿真軟件、程序接口和評估標(biāo)準(zhǔn)。無線信道使用專門生產(chǎn)用于移動無線信道仿真的位率差錯模板來進(jìn)行仿真。 位率差錯模板在物理層上和RLC/RLP層下來捕獲，因此，它們在實(shí)驗(yàn)被用于物理層仿真。通過位率差錯模板實(shí)驗(yàn)中得出的碼率、長度、位錯誤率和移動速度數(shù)據(jù)詳見下表2。
位率差錯在文件中的是獨(dú)立統(tǒng)計統(tǒng)計,正如信號在3G系統(tǒng)編碼和解碼的時候發(fā)生錯誤一樣。這為以下的位率差錯模板文件所考慮。數(shù)組1和2 適合應(yīng)用于視頻流媒體,數(shù)據(jù)在RLP/
RLC層可以重傳而且可以修正許多丟失的幀。 可以接受的信道編碼策略是使用C語言的編碼策略以及目標(biāo)吞吐量最大化和錯誤最小化的能力控制。數(shù)組1和2
對會話服務(wù)是不切實(shí)際的,因?yàn)樵趫D象質(zhì)量可以接受的情況下，在沒有重傳機(jī)制的情況下不能夠承受如此高的錯誤碼流。
數(shù)組3到6的仿真結(jié)果更可靠，在會話應(yīng)用中需要低錯誤率的運(yùn)送者。 假定一任意的字節(jié)的開始位置在文件包可能發(fā)生錯誤的位置里面。 這些錯誤可能性的所有數(shù)據(jù)錯誤在圖4中被顯示。 明顯可以看出錯誤率會因?yàn)榘L度的增加而提高。從位率錯誤表格(BEP1和2)可知，當(dāng)包長度減少的時候丟包率是不可以接受的, 舉例來說，500個字節(jié), 丟失可能性高達(dá)25%. 高的錯誤率需要在鏈路層上重傳。
這個圖表為合適包長度的會話服務(wù)提供了非常有分寸的錯誤特性分析。1000字節(jié)的合理包長度的錯誤特性可以低于5%. 這意味典型的固定英特網(wǎng)丟包的可能性不會被超過。但要注意，高速移動(50
km/h)的用戶的信道狀況比步行(3 km/h)用戶要差得多。 因此，快速移動用戶的錯誤率通常高與慢移動的使用者。
在標(biāo)準(zhǔn)化的過程中，標(biāo)準(zhǔn)的開始應(yīng)該包含基于IP的有線和無線傳輸?shù)娜蒎e特征。在今天的傳輸系統(tǒng)中通常有兩種類型的錯誤：錯位和丟包。 然而，所有相關(guān)多路傳輸協(xié)議如H.223和UDP/IP和幾乎所有的移動系統(tǒng)都具備通過數(shù)字排隊和塊檢測排隊來進(jìn)行丟包和錯位檢測的能力。因此，可以斷定大部分被錯誤傳輸?shù)陌寄軌虮粰z測到。 而且，即使包被檢測到包含位錯誤,解碼也可以被嘗試進(jìn)行。這一點(diǎn)在某些研究已經(jīng)被證實(shí),在一些方案中，靜止圖的像傳輸已經(jīng)被報告。然而，在H.264/ AVC 標(biāo)準(zhǔn)的開發(fā)考軟件里面，基于以下的幾點(diǎn)原因，含有位錯誤的包應(yīng)被接受者考慮丟棄:
1. 處理含有位錯誤的包類似于通過移動設(shè)備來接收數(shù)據(jù)一樣，網(wǎng)關(guān)和接收者都是通過丟棄錯誤的包來使用網(wǎng)絡(luò)連接的。
2. 聯(lián)合的源信道解碼, 例如，可變長度基于架構(gòu)的代碼解碼或重復(fù)的源和信道解碼可以被接受。然而，這些技術(shù)還沒有在圖像解碼方面顯示重要的進(jìn)步。
3.基于丟包的解碼適合于在一個較窄的范圍里進(jìn)行，然而，H.264/AVC提供一個可用的針對錯誤傾向環(huán)境下的解碼。
4. 最后,處理位錯誤通常會使解碼軟件的實(shí)現(xiàn)變得很復(fù)雜。H.264作為一個為許多目標(biāo)開發(fā)測試的模型，只有簡單和有意義的網(wǎng)絡(luò)借口已經(jīng)被集成。
除了定向接收器的錯誤檢測，錯誤可能在傳輸路徑的任何地方被發(fā)現(xiàn)并且馬上發(fā)送信號。RTP草案里面關(guān)于H.264/ AVC有效載荷的定義里面包含了超出有效載荷指示的定義。當(dāng)重新發(fā)送接收到的被修正錯誤的數(shù)據(jù)流的時候發(fā)射器能設(shè)定這個指示。此外，如果傳輸錯誤在相應(yīng)的數(shù)據(jù)包中被發(fā)現(xiàn)，任何的中間網(wǎng)絡(luò)元素能消除這個標(biāo)記。因此,錯誤的有效載荷可以通過一個網(wǎng)絡(luò)，而且解碼器或任何網(wǎng)關(guān)能決定是否將這個錯誤的NAL單元解碼或丟棄。
廣州富年電子科技公司摘譯供稿 CTI論壇編輯
相關(guān)鏈接:
亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩
哈尔滨市|
屏东县|
张家口市|
陈巴尔虎旗|
蒙城县|
灵台县|
西贡区|
漾濞|
沧州市|
大兴区|
安康市|
荔浦县|
巨野县|
桦川县|
秀山|
丹棱县|
青岛市|
大石桥市|
青海省|
龙江县|
禄劝|
丰县|
措勤县|
丹东市|
犍为县|
勃利县|
南平市|
梁平县|
奎屯市|
都昌县|
北流市|
新津县|
宝兴县|
新乡市|
二连浩特市|
龙口市|
长汀县|
葫芦岛市|
新乐市|
南川市|
乌拉特前旗|
http://444
http://444
http://444
http://444
http://444
http://444