王榮剛：建立中國自主視頻技術(shù)生態(tài)

　　https://www.baijiayun.com/web/playback/index?classid=18072579438145&session_id=201807260&token=PsTmsjVpbRht681rrJ0J_Xl0fbNahfHFmF1doYNdca5XBFzghyiw19mnJwk0S3tXOBORUT217bsKp0fXMnVKLQ

　　大家做視頻技術(shù)的都知道，視頻跟其他的數據不太一樣，因為它需要一個(gè)生態(tài)。由于視頻的數據量特別大，它無(wú)法通過(guò)原始格式在網(wǎng)上傳輸，因此在這里就涉及到壓縮，壓縮就涉及到壓縮算法的問(wèn)題。壓縮算法需要滿(mǎn)足大家可以互聯(lián)互通，這里涉及到要有一個(gè)共同的標準或者規范。在過(guò)去的差不多30多年，視頻技術(shù)的發(fā)展一直都是靠視頻編碼標準推動(dòng)的。

　　在行業(yè)背景方面，視頻的技術(shù)發(fā)展是朝著(zhù)超高清方向來(lái)發(fā)展的，就是不斷的向現實(shí)逼近，我們過(guò)去都是標清，后來(lái)又到高清3D，最近的是4K，包括還有VR，如上面所列的一些大的事件，這些大的事件都是推動(dòng)了4K或者超高清視頻技術(shù)的使用或應用，這里面比較有代表性的就是世界杯采用了4K的直播技術(shù)，而8K和VR也是近幾年馬上就要推行的事情。

　　對視頻壓縮技術(shù)的挑戰還是依舊的，這里面列了從高清到4K的壓縮碼率的情況。現在以4K為例，如果要保證一個(gè)非常高的質(zhì)量，像廣播電視領(lǐng)域，它用的這個(gè)帶寬還是非常高的。差不多傳4K的視頻要40M左右的碼率，到后面8K，VR所需的帶寬就會(huì )更高，對視頻壓縮技術(shù)的需求依然是存在的。

　　我們看一下國際視頻編碼標準演進(jìn)的情況，一般認為第一代標準是MPEG2，MPEG2的典型應用就是標清視頻，比如說(shuō)DVD，傳統的廣播電視都是MPEG2，到第二代標準就是以H264為代表的，那它的應用是高清視頻的傳輸，到現在是第三代標準，那就是以H.265為代表的，它的目標是傳輸超高清的視頻。在后面我會(huì )講，H.265面臨一個(gè)授權成本過(guò)高或者風(fēng)險過(guò)高的問(wèn)題，由于這樣的背景，現在出現了幾個(gè)新的挑戰者，包括Google主導的AV1，也包括我們國家制訂的AVS2的標準，這個(gè)是第三代標準。現在國際上MPEG和ITO正在聯(lián)合制訂第四代，叫H.266/VVC，實(shí)際上國內的AVS工作組也在制訂下一代的標準AVS3。

　　現在的視頻大部分的壓縮格式采用的還是H.264標準，H.265或者其他格式所占的流量還是很少的，這里面有個(gè)主要的原因就是H.265的知識產(chǎn)權的政策跟H.264有很大的不同，這張圖給出了目前已經(jīng)知道的H.265的專(zhuān)利權所有者：

　　這個(gè)里面有三個(gè)圈，這三個(gè)圈代表三個(gè)不同的專(zhuān)利池，所謂的專(zhuān)利池就是說(shuō)大家組團收專(zhuān)利費的意思。在MPEG2和H.264時(shí)代沒(méi)有這么多專(zhuān)利池，只有一個(gè)MPEG LA的專(zhuān)利池，專(zhuān)利池的好處就是對一個(gè)標準的使用者來(lái)說(shuō)，它交這個(gè)專(zhuān)利費，只要符合專(zhuān)利池的政策，按照專(zhuān)利池的政策收費標準來(lái)繳費就可以了，他不用去跟每個(gè)專(zhuān)利權人單獨去談。但是到了H.265這個(gè)標準以后就有一個(gè)很大的變化，有一些專(zhuān)利權人不再對MPEG LA制訂的收費政策感到那么滿(mǎn)意了，他們想再搞一套自己的收費政策，所以就出現了HEVC Advance，Velos Media兩個(gè)新的專(zhuān)利池。除了這兩個(gè)專(zhuān)利池以外，還有大概15家公司不在這三個(gè)專(zhuān)利池里，他們試圖單獨的來(lái)授權，但是在這么多專(zhuān)利擁有者中，只有MPEG  LA，和HEVC  Advance目前公開(kāi)了他們的收費政策，Velos Media和另外15家公司始終是沒(méi)有公開(kāi)他們的收費政策的。從MPEG LA和HEVC Advance公開(kāi)的收費政策看，他們的收費價(jià)格已經(jīng)比H264基本上高一倍了，剩下的還沒(méi)有公布如何收費的，不知道應該交多少錢(qián)，也就造成了H.265專(zhuān)利收費的亂局，這在國際上引起了廣泛的憂(yōu)慮。

　　AVS工作組是數字音視頻編解碼技術(shù)標準工作組的簡(jiǎn)稱(chēng)，由國家工信部于2002年6月批準成立。工作組的任務(wù)是向我國的信息產(chǎn)業(yè)需求，聯(lián)合國內企業(yè)和科研機構，制（修）訂數字音視頻的壓縮、解壓縮、處理和表示等共性技術(shù)標準。目前有近100家會(huì )員單位。這里面包括華為，中興，騰訊，還有一些學(xué)校，北大、清華，浙大和上海交大等等，工作組除了制訂視頻標準以外，還制訂音頻標準，系統層的標準。最近，這個(gè)工作組還在往人工智能方向擴展，新成立了一個(gè)基于A(yíng)I的工作組，這個(gè)AI工作組里面，也會(huì )做一些人工智能方面的一些基礎共性的標準。

　　AVS標準的一大創(chuàng )新是在標準制定之前先確立許可模式，有效避免類(lèi)似HEVC收費亂局，凡是向AVS工作組提交技術(shù)和提案的單位都需要對其專(zhuān)利許可意向做出承諾，允許“免費使用”或者“加入AVS專(zhuān)利池”。 AVS專(zhuān)利池管理委員會(huì )出臺《關(guān)于A(yíng)VS2專(zhuān)利池許可的建議性規定》，在規定中指出，AVS2的專(zhuān)利授權采用一站式許可模式，只對設備象征性收費，不對內容服務(wù)收費，對互聯(lián)網(wǎng)上的軟件服務(wù)免收專(zhuān)利費。

　　AVS標準的演進(jìn)過(guò)程，實(shí)際上主要是有兩代標準：第一代叫AVS1標準，于2006年發(fā)布成了國標，它的主要應用場(chǎng)景是地面電視，到了2012年，AVS1做了一些小的改進(jìn)，發(fā)布成了一個(gè)新的廣電的行標叫AVS+，這個(gè)主要在高清衛星上面應用，現在大家看到的央視上帶星的高清節目，都是用的AVS+標準，第二代叫AVS2標準，是面向超高清的視頻應用的，于2016年12月份發(fā)布成了國標。

　　AVS2技術(shù)的基本框架和MPEG2及H.264是類(lèi)似的，依舊是變換加預測的混合架構，這里面在每一個(gè)模塊上都做了一些技術(shù)上的革新，大概在性能上就比上一代H.264，或者AVS1，AVS+提升了一倍以上。

　　與HEVC做對比，在PSNR相同的情況下，碼率相對低就是負值，碼率高就是正值，在這個(gè)表里負值就表示AVS2好，正值就表示HEVC好。從不同的應用場(chǎng)景來(lái)綜合評估下來(lái)，AVS2總體上的編碼效率優(yōu)于HEVC。

　　國家廣播電影電視總局廣播電視計量檢測中心做了一個(gè)主觀(guān)測試，這個(gè)主觀(guān)測試是針對了8個(gè)4K、10bit的視頻序列，目標平均碼率為36Mbps，在這個(gè)碼率條件下，AVS2和HEVC用的都是參考軟件來(lái)壓縮的，參考軟件基本上可以達到的最優(yōu)的性能。

　　從這個(gè)主觀(guān)測試的結果來(lái)看，AVS2略?xún)?yōu)。

　　2018.年3月，UHD Forum經(jīng)過(guò)長(cháng)時(shí)間的調研和分析論證，最終一致認為AVS2性能優(yōu)異、產(chǎn)業(yè)鏈成熟、專(zhuān)利授權政策優(yōu)惠，最終決定把AVS2列為和H.265并列的超高清編碼標準，推薦給全球的TV和視頻業(yè)務(wù)運營(yíng)商使用。

　　1）AVS2 4K量產(chǎn)芯片廠(chǎng)商：華為海思，Hi3796MV200，AVS2 全4K解碼芯片

　　MStar， MSO9385，AVS2 全4K解碼芯片

　　2）年內將推出AVS2芯片的廠(chǎng)商：中興微、Amlogic、全志、瑞芯微

　　AVS2 4K/50P/10bit 實(shí)時(shí)編碼器廠(chǎng)商：目前至少有柯維新（東華廣信），數碼視訊，算通，當虹科技，上海國貿等， 現在有一些質(zhì)量比較好的編碼器主觀(guān)質(zhì)量損失低于8%的，廣播級要求是平均低于12%，低于8%是一個(gè)不錯的質(zhì)量。

　　2018 年 1 月 31 日，北京大學(xué)數字視頻編解碼技術(shù)國家工程實(shí)驗室開(kāi)源了 AVS2 高清實(shí)時(shí)編碼器 xAVS2。

　　這兩張圖是xAVS2和X265性能的對比，這里面橫坐標代表的是編碼效率的損失，縱坐標是編碼速度，橫坐標就是橫軸值越小越好，縱軸是值越大越好，針對UHD來(lái)說(shuō)二者是相當的，針對HD來(lái)說(shuō)，xAVS2在相同的編碼效率條件下比x265速度快，或者反過(guò)來(lái)說(shuō)相同速度條件下比它的編碼效率高。

　　2017 年 10 月，北京大學(xué)深圳研究生院數字媒體研究中心推出多平臺AVS2編解碼內核-uAVS2，它的特點(diǎn)如下：

　　下面的兩張圖給的就是uAVS2和x265的一個(gè)對比情況，這里面的紅的實(shí)線(xiàn)和藍的實(shí)線(xiàn)是uAVS2，虛線(xiàn)是x265，上面是單線(xiàn)程的，下面是多線(xiàn)程的，同樣這個(gè)橫軸是編碼效率的損失，縱軸是編碼速度，橫軸的值越小越好，縱軸的值越大越好。編碼效率損失是說(shuō)這個(gè)編碼器跟參考軟件相比來(lái)說(shuō)，編碼效率的損失，因為參考軟件是代表了最優(yōu)的客觀(guān)性能。但是由于參考軟件的最大的問(wèn)題是速度特別慢，沒(méi)有辦法做實(shí)時(shí)應用，做實(shí)時(shí)編碼器的時(shí)候必然會(huì )犧牲一些編碼效率來(lái)提升編碼速度。在這兩張圖，很明顯可以看出來(lái)，當編碼速度類(lèi)似時(shí)，uAVS2大概比X265的編碼效率高10%到30%，如果編碼效率類(lèi)似， uAVS2比x265會(huì )快3到10倍。

　　在移動(dòng)平臺解碼速度比openHEVC快2倍，華為P20手機可以實(shí)現4K/30P視頻實(shí)時(shí)解碼，720P實(shí)時(shí)編碼。對于1080P/3Mbps實(shí)時(shí)解碼， CPU使用率不足10%。

　　上面表格就是我們做的解碼器跟OpenHEVC解碼器的速度的對比，值得一提的是在手機上面做軟件的解碼跟硬解碼的功耗水平實(shí)際上都開(kāi)始接近了，下面這兩張表是我們最近測的一個(gè)結果，我們在手機端去測試視頻播放的時(shí)候，比較軟解和硬解功耗的差異，第一張表是給的是一組720P的視頻，各種典型的場(chǎng)景都有的，對比了這個(gè)四種不同的手機的機器，分別是三星的S3，iPhone6，iPhone6S，iPhone8，三星S3和 iPhone 6比較老的手機了，iPhone8是目前比較新的，我們可以看出在線(xiàn)播放720P視頻的時(shí)候功耗的水平以及H.264的硬解和軟解，在三星S3上是差異是比較大的，但是在iPhone6，iPhone6S，iPhone8差異并沒(méi)有那么大，只有百分之十幾。那我們看下面第二張表，就是AVS2的軟解和H.264硬解之間的功耗的差別，這個(gè)我們對比了三組不同的分辨率的視頻，分別是480P，720P和1080P，我們看在480P，AVS2的軟解和H.264的硬解基本上沒(méi)有太大差異，只有1%的功耗差，在720P上面二者差異也很小，只有8%的功耗差，當峰值到了1080P，二者也只差了11%，當然這個(gè)是在iPhone8上測的，現在大家都知道手機上面能夠支持的視頻的服務(wù)最高的分辨率也就是1080P，這張表已經(jīng)說(shuō)明，在手機上面，軟解就夠用了。就是對大多數的應用場(chǎng)景來(lái)說(shuō)，即使AVS2在手機上沒(méi)有芯片硬解的支持，軟解也是完全可以上線(xiàn)了。

　　基于uAVS2的全4K視頻編碼器有兩個(gè)配置，一個(gè)配置用來(lái)做離線(xiàn)轉碼，它的編碼速度達不到實(shí)時(shí)，但是編碼性能調的比較優(yōu)，我們把這個(gè)最優(yōu)的配置和HEVC的參考軟件做了一個(gè)對比，針對全4K的視頻系列平均比這個(gè)HEVC的參考軟件編碼效率高7.4%，速度大概是HEVC編碼器的參考軟件的幾百倍。

　　另外一個(gè)配置就是快速配置，這個(gè)快速配置就是可以來(lái)做全4K視頻實(shí)時(shí)編碼的配置，與X265類(lèi)似的配置去對比，比它的編碼效率高30%，同時(shí)編碼速度還比它快40%，這個(gè)目前是可用的。目前uAVS2-4K已經(jīng)被集成到多款商用AVS2 4K編碼器中。

　　監控視頻編解碼內核uAVS2-S比HEVC/H.265編碼效率高30%以上，能大幅節約監控視頻傳輸帶寬和存儲成本。

　　5）圖像編解碼內核： uAVS2-I

　　與騰訊合作，基于uAVS2-I推出新一代圖像壓縮格式TPG，比JPG高 47%， 比PNG高60%，比GIF高85%，比WebP高25%。

　　AVS2云轉碼服務(wù)支持H.264、H.265和AVS2標準互轉，支持JPEG、PNG、GIF等格式和TPG互轉，支持AI去噪、超分辨率、超幀率等畫(huà)質(zhì)增強功能，并且是和華為云合作推廣，計算資源彈性可調、可在私有云和公有云等平臺部署。

　　1、4K電視廣播

　　2017年11月，國家廣電總局發(fā)文規范4K超高清電視發(fā)展，明確要求統一采用AVS2 標準；2018年初，廣東省正式上線(xiàn)AVS2 4K直播頻道和IPTV點(diǎn)播專(zhuān)區，要求在10月以后新上線(xiàn)4K節目支持AVS2標準；2018年5月，央視聯(lián)通端到端AVS2 4K系統，計劃10月1日開(kāi)通AVS2 4K頻道。

　　2、IPTV/OTT

　　2018年3月30日，由中關(guān)村視聽(tīng)產(chǎn)業(yè)技術(shù)創(chuàng )新聯(lián)盟會(huì )同中國智慧家庭產(chǎn)業(yè)聯(lián)盟、中國視頻體驗聯(lián)盟、廣東4K生態(tài)產(chǎn)業(yè)聯(lián)盟及眾多相關(guān)企業(yè)等編寫(xiě)的《IPTV 業(yè)務(wù)系統AVS2實(shí)施指南（2018年）》正式發(fā)布。

　　3、互聯(lián)網(wǎng)視頻

　　支持互聯(lián)網(wǎng)和移動(dòng)平臺視頻/游戲直播、點(diǎn)播、實(shí)時(shí)通信等應用，與華為云合作推廣，近期上線(xiàn)。

　　4、AI畫(huà)質(zhì)增強

　　基于A(yíng)I技術(shù)實(shí)現老電影/電視劇/動(dòng)畫(huà)修復，壓縮噪聲去除，超分辨率/超幀率/色域提升/SD轉HDR。

　　5、互聯(lián)網(wǎng)圖像

　　在互聯(lián)網(wǎng)圖像方面，我們與騰訊合作一起推行一個(gè)叫TPG的標準，目前這個(gè)TPG 標準，已經(jīng)在騰訊的九大產(chǎn)品線(xiàn)部署了，包括手機QQ，QQ空間，手機管家，QQ瀏覽器，騰訊視頻的客戶(hù)端，新聞，騰訊體育動(dòng)漫等等，另外也在騰訊云上面部署了TPG，而且騰訊瀏覽器的內核，X5內核也完成了TPG的支持，現在還有游戲的引擎的廠(chǎng)商接入了TPG的格式，這個(gè)TPG它的優(yōu)勢在于：一呢，省流量、省存儲，二是讓頁(yè)面或者圖片的加載速度大幅度提升，大概提升到30%以上。

　　6、監控視頻

　　在參與雪亮工程和平安城市建設的過(guò)程中，發(fā)現監控視頻有對轉碼的需求，就是前端攝像頭產(chǎn)生的視頻流碼率依然很高（H.264 4Mbps/H.265 2Mbps），要做一次二次的壓縮，然后在一些這個(gè)帶寬受限的網(wǎng)絡(luò )上進(jìn)行傳輸，再傳到后臺，這個(gè)是前端轉碼；還有一個(gè)應用是后端轉碼，就是監控攝像頭下面的數據在后臺通過(guò)服務(wù)器來(lái)轉碼，這樣是為了節省存儲空間。AVS2由于采用了背景幀技術(shù)可以大幅度提升二次壓縮效率。

　　A: 這個(gè)原理很簡(jiǎn)單，就是因為T(mén)PG同樣的圖片的質(zhì)量，它壓縮以后的圖片尺寸比原來(lái)減少了50%，網(wǎng)頁(yè)加載的速度自然就會(huì )變快了。

　　A: 大家可以上AVS工作組的網(wǎng)站，有一個(gè)AVS2的專(zhuān)欄（http://www.avs.org.cn/avs2/index.asp）上面有一些AVS2的大概的介紹。另外就是關(guān)注我們的公眾號【智媒之音】，上面有關(guān)于A(yíng)VS2標準的每一項編碼工具的一些比較詳細的介紹。

　　A: 現在也有一些公司希望在國際，國外來(lái)推廣AVS2的標準，那比如其實(shí)我剛才PPT也在講， UHD Forum實(shí)際上它就是一個(gè)國際的組織，跟超高清這個(gè)產(chǎn)業(yè)有關(guān)的國際上最主流的公司都在里面。現在它實(shí)際上把AVS2作為一個(gè)推薦性的國際標準已經(jīng)納入進(jìn)去了，是跟HEVC并列的一個(gè)標準。至于說(shuō)AVS標準和MPEG合作的問(wèn)題呢，其實(shí)這個(gè)比較難操作，就是因為兩邊的商業(yè)模式是不一樣的，MPEG那邊成員更多，難協(xié)調，它要改它的商業(yè)模式，這是基本上不可能實(shí)現的任務(wù)。在技術(shù)上MPEG和AVS有很方便的溝通渠道，很多AVS標準的參與者同時(shí)參與MPEG標準制定，MPEG視頻組的組長(cháng)虞露老師就是AVS工作組視頻組的前任組長(cháng)。

　　A：HEIF的編碼內核是HEVC的幀內編碼，所以理論上來(lái)說(shuō)它的性能和TPG在圖像編碼上是類(lèi)似的。但是因為具體不同公司編解碼器優(yōu)化的水平不一樣，所以這個(gè)就在產(chǎn)品級很難比。這方面實(shí)際上在騰訊內部做過(guò)一些對比，他們對比原來(lái)他們嘗試用HEVC實(shí)現的內核，至少和那個(gè)內核對比，TPG無(wú)論是編碼質(zhì)量和速度都是有優(yōu)勢的。