WebRTC讓音視頻通信開(kāi)發(fā)變得簡(jiǎn)單
WebRTC的主要優(yōu)勢在于提供了一整套完備的音視頻通信方案，使得音視頻通信開(kāi)發(fā)變得簡(jiǎn)單。
WebRTC提供了完整的端到端處理方案。包括了采集、回聲消除、噪聲抑制、自動(dòng)增益控制、編碼等近端處理，以及自適應抖動(dòng)緩沖區、丟包隱藏、解碼、播放等遠端處理。其中編解碼器包含免費高效的OPUS、VP8/9等，音頻自適應抖動(dòng)/丟包隱藏則可以在較高延遲/丟包率下依然保持良好的通話(huà)水平。
當然，這個(gè)完整的方案并不完美，比如沒(méi)有服務(wù)器實(shí)現，比如回聲消除在安卓系統上效果不一。做服務(wù)器實(shí)現時(shí)除了信令外，做合流的話(huà)還需要處理丟包情況，否則會(huì )出現音頻斷續等問(wèn)題。總的來(lái)說(shuō)，WebRTC為音視頻通信開(kāi)發(fā)者提供了開(kāi)發(fā)簡(jiǎn)單的入門(mén)框架，然而要實(shí)現較好的效果，開(kāi)發(fā)者需要做的額外工作并不少。
AV1未來(lái)機會(huì )巨大
所謂下一代編碼器，主要就是H.266/FVC和AV1了。關(guān)于這個(gè)大家應該是有共識的，即AV1是（專(zhuān)利）免費、開(kāi)源的，而H.266按慣例則是要收取不菲的專(zhuān)利費的，因此性能差別不是非常大的情況下，毫無(wú)疑問(wèn)大家會(huì )擁抱AV1（AV1對比H.265的目標碼率節省是30%）。另外考慮到目前移動(dòng)端流量的高占比以及高復雜度的編解碼導致軟件實(shí)現困難，硬件編解碼器的重要性不言而喻，H.265的巨大掣肘之一就是硬件支持不佳。
由于專(zhuān)利費等影響，預期H.266也不能擺脫這個(gè)難題。AV1則在標準制定過(guò)程中始終將硬件實(shí)現考慮進(jìn)來(lái)，并且聯(lián)合硬件廠(chǎng)商制定并推動(dòng)AV1的硬件產(chǎn)品化。然而硬件開(kāi)發(fā)的周期預計將以年為單位，再加上終端產(chǎn)品的換代周期以及生態(tài)開(kāi)發(fā)的時(shí)間，AV1需要數年后才有可能大面積應用。
長(cháng)遠來(lái)看，AV1的機會(huì )非常大，而目前來(lái)說(shuō)，H.264/5的主導地位不會(huì )改變。
專(zhuān)有編解碼器并不適合CDN
我們評估了許多硬件轉碼方案，包括FPGA、ASIC以及GPU。大規模轉碼對轉碼系統的要求很苛刻。
首先從性能上來(lái)說(shuō)，由于硬件實(shí)現的諸多限制（比如B幀、參考幀數目、運動(dòng)矢量搜素范圍等），大部分硬件編碼器（尤其是FPGA/ASIC）的編碼效率（即固定碼率下的畫(huà)質(zhì)）達不到甚至遠差于軟件編碼器，這種情況下我們作為CDN廠(chǎng)商無(wú)法應用，不可能在帶寬不變的情況下降低客戶(hù)的畫(huà)質(zhì)。此外還往往限制指定的分辨率幀率才可以轉。
其次是成本，大規模轉碼由于有機房的限電問(wèn)題，對單位功耗的轉碼能力敏感，而GPU的功耗其實(shí)不算低，導致了其對比軟編的編碼速度提升幅度受限。
最后是集成，ASIC/FPGA大多沒(méi)有完備的第三方（比如FFmpeg）集成實(shí)現，需要額外的開(kāi)發(fā)時(shí)間以及成本。GPU雖然相對完善些，但依然需要一定的適配工作，包括性能/平臺定制化開(kāi)發(fā)以及如何進(jìn)行精準的負載檢測等。
以上這些限制導致了硬件轉碼方案目前還不能完全取代軟件轉碼，只能在一些符合要求的特定場(chǎng)景下應用。
LiveVideoStack 2018年春季招聘
LiveVideoStack是專(zhuān)注在音視頻、多媒體開(kāi)發(fā)的技術(shù)社區，通過(guò)傳播最新技術(shù)探索與應用實(shí)踐，幫助技術(shù)人員成長(cháng)，解決企業(yè)應用場(chǎng)景中的技術(shù)難題。如果你有意為音視頻、多媒體開(kāi)發(fā)領(lǐng)域發(fā)展做出貢獻，歡迎成為L(cháng)iveVideoStack的一員。我們正在招募商務(wù)助理，高級編輯，策劃編輯，課程經(jīng)理。
