LiveVideoStack：左俊你好，能否先向LiveVideoStack的讀者介紹下自己，以及你目前主要的工作以及關(guān)注的技術(shù)方向？
左俊：我目前主要的負責是華為云。通信云服務(wù)整個(gè)解決方案的架構和技術(shù)。華為云。通信云服務(wù)目前包括如下四個(gè)服務(wù)：視頻通話(huà)服務(wù)、隱私保護通話(huà)服務(wù)、語(yǔ)音通話(huà)服務(wù)、短信服務(wù)。當下，我主要關(guān)注的有以下兩點(diǎn)：
- 音視頻方案中的效果及質(zhì)量問(wèn)題，這個(gè)是整個(gè)音視頻解決方案最為基礎的部分，華為在運營(yíng)商市場(chǎng)實(shí)時(shí)音視頻的成功實(shí)踐，為解決互聯(lián)網(wǎng)視頻通話(huà)的效果和質(zhì)量問(wèn)題，提供有效的借鑒和支撐，這也是華為云。視頻通話(huà)服務(wù)快速孵化的基礎。
- 解決方案中的安全韌性及合法合規問(wèn)題，雖然這不是基礎業(yè)務(wù)的一部分，但是這個(gè)是客戶(hù)能夠獲取持久保障的前提，華為很看重這一塊，也能夠保證向客戶(hù)持續地提供可靠可信的服務(wù)。
此外還有系統的開(kāi)放性靈活性，成本管理，客戶(hù)的個(gè)性化服務(wù)等，也都是整個(gè)解決方案中不可或缺的一環(huán)。
LiveVideoStack：作為在運營(yíng)商話(huà)音解決方案系統方面有超過(guò)15年經(jīng)驗的高級架構師，你如何看待近幾年音視頻通話(huà)技術(shù)的發(fā)展？
左俊：近些年通過(guò)開(kāi)源技術(shù)以及整個(gè)通信技術(shù)棧遷移到IP上，音視頻通話(huà)的整個(gè)技術(shù)棧發(fā)展的速度很快，基于開(kāi)源軟件的創(chuàng )新解決方案層出不窮，這是整個(gè)行業(yè)技術(shù)水平提升的一個(gè)重要表現。但是開(kāi)源軟件面向的目標是提供普遍服務(wù)，對于極致的音視頻效果和質(zhì)量仍然需要各家使用自己的十八般武藝去不斷的追求，這個(gè)需要長(cháng)期的技術(shù)積累與投入。舉一個(gè)編解碼方面的例子，得益于在音視頻編解碼標準、算法、創(chuàng )新場(chǎng)景的長(cháng)期投入，華為HW265編碼器包攬了世界視頻編碼器大賽全部三條賽道第一，并毫無(wú)懸念地獲得總成績(jì)第一名。繼2018年奪冠后，成功衛冕，蟬聯(lián)2019年大賽冠軍，這些基礎技術(shù)是華為視頻通信效果及質(zhì)量的基礎。
此外，AI加持后的音視頻也變得越來(lái)越有趣，這個(gè)也是近些年來(lái)一個(gè)重要的變化。AI不僅僅上能做人臉檢測，下能做表情疊加，還能在音視頻技術(shù)的其他環(huán)節都產(chǎn)生一些顯著(zhù)的效果。一個(gè)小小的實(shí)時(shí)音視頻通信僅媒體面就涉及前前后后二十多個(gè)環(huán)節，可喜的是如今已經(jīng)看到不少的環(huán)節已經(jīng)在用新技術(shù)去優(yōu)化體驗效果了，如華為云。視頻通話(huà)中的實(shí)時(shí)超分辨率技術(shù)，強化學(xué)習的抗丟包方法。相信未來(lái)這塊會(huì )有越來(lái)越多的實(shí)質(zhì)性進(jìn)展，會(huì )給我們帶來(lái)各種增強的效果。
LiveVideoStack：作為運營(yíng)商出身的華為，在互聯(lián)網(wǎng)實(shí)時(shí)音視頻與傳統話(huà)音關(guān)系是什么？關(guān)于兩者的結合華為云是如何思考的？
左俊：首先，互聯(lián)網(wǎng)實(shí)時(shí)音視頻的主要技術(shù)基礎都是來(lái)源于在運營(yíng)商業(yè)務(wù)中的積累，當然也吸收了部分互聯(lián)網(wǎng)開(kāi)源的好組件。舉個(gè)例子，運營(yíng)商業(yè)務(wù)在極致的可靠性及并發(fā)處理上有著(zhù)獨特的技術(shù)要求，這也催生了華為云。通信云服務(wù)的極致可靠性與高質(zhì)量，我們在視頻通話(huà)設計的時(shí)候就在各個(gè)層級做到了跨Region級別的容災，對于關(guān)鍵節點(diǎn)，甚至考慮了異網(wǎng)備份：實(shí)際數據表明，自上線(xiàn)運行以來(lái)，華為云。視頻通話(huà)可用性超過(guò)4個(gè)9，這個(gè)是一個(gè)比較優(yōu)異的成績(jì)。
其次，技術(shù)的共享是雙向的，新的技術(shù)點(diǎn)也使得運營(yíng)商網(wǎng)絡(luò )煥發(fā)新的機會(huì )，比如一些海外先進(jìn)運營(yíng)商也在逐步認可通過(guò)華為云服務(wù)為他們的客戶(hù)提供一攬子話(huà)音解決方案，不但快速的部署了業(yè)務(wù)（東南亞某客戶(hù)部署中，本身設備1個(gè)月以?xún)韧瓿缮暇�(xiàn)，運營(yíng)商側預計3個(gè)月內集成），還降低了25%成本。我們也在將線(xiàn)上先進(jìn)的技術(shù)引入到運營(yíng)商網(wǎng)絡(luò )的同時(shí)，也在將線(xiàn)上的流量導入到線(xiàn)下，一方面讓運營(yíng)商通過(guò)網(wǎng)絡(luò )能力開(kāi)放獲得更多的收益，另一方面也使得線(xiàn)上客戶(hù)連接線(xiàn)下客戶(hù)更加的方便與便捷。
第三，運營(yíng)商網(wǎng)絡(luò )音視頻在一開(kāi)始就關(guān)注全球一張網(wǎng)的互聯(lián)互通，包括不同制式，不同運營(yíng)商，不同國家之間都是可以無(wú)縫互通，這是運營(yíng)商音視頻網(wǎng)絡(luò )天然的優(yōu)勢，不像互聯(lián)網(wǎng)技術(shù)的音視頻往往都是各自獨立的自成體系網(wǎng)絡(luò )，往往比較難滿(mǎn)足市場(chǎng)多樣化的互通需求。華為的音視頻解決方案在一開(kāi)始就考慮了相關(guān)的互聯(lián)互通需求，能夠實(shí)現手機，平板，電視，音箱，固話(huà)等所有可能的終端之間的互聯(lián)互通。
LiveVideoStack：華為云。視頻通話(huà)服務(wù)與其他廠(chǎng)商相比有哪些獨到的方案與技術(shù)？
左俊：華為云。視頻通話(huà)服務(wù)目前主要在自研編解碼，AI處理，可靠性與韌性，線(xiàn)上線(xiàn)下網(wǎng)絡(luò )互通性，全球覆蓋就近接入網(wǎng)絡(luò )，合規運營(yíng)，用戶(hù)隱私與保護等方面是有比較大的優(yōu)勢的。舉幾個(gè)例子：
- 編解碼與音視頻質(zhì)量，2019年莫斯科國立大學(xué)舉辦的MSU世界視頻編碼器大賽上，HW265在Fast快速編碼場(chǎng)景下以62%的編碼壓縮率領(lǐng)先第二名5個(gè)百分點(diǎn)的成績(jì)獲得第一名；在其他一些方面，華為云。視頻通話(huà)服務(wù)在比如ROI感知編碼，弱網(wǎng)條件下視頻自動(dòng)超分辨率，E2E時(shí)延優(yōu)化，全球覆蓋就近接入網(wǎng)絡(luò )，網(wǎng)絡(luò )適應性的強化學(xué)習的網(wǎng)絡(luò )帶寬預估，視頻長(cháng)期參考幀均有應用，使得整體的效果不管是網(wǎng)絡(luò )正常還是網(wǎng)絡(luò )丟包網(wǎng)絡(luò )帶寬受限場(chǎng)景都有優(yōu)異的表現，視頻U-vMOS（華為視頻體驗衡量體系評價(jià)標準）相比較不帶這些效果提升0.6分以上。
- DFx，可靠性，華為云。視頻通話(huà)服務(wù)在各個(gè)層級做到了跨Region級別的容災，對于關(guān)鍵節點(diǎn)，考慮了異網(wǎng)備份，與此同時(shí)，華為依賴(lài)ICT領(lǐng)域多年在故障模式的積累，提前對六十多種典型的故障場(chǎng)景在現網(wǎng)進(jìn)行提前的故障注入演練，確保了典型故障場(chǎng)景業(yè)務(wù)無(wú)中斷，上線(xiàn)以來(lái)的數據表明實(shí)際可用性超過(guò)4個(gè)9。
- 用戶(hù)隱私與保護方面，華為運營(yíng)平臺也是最為合規的用戶(hù)數據保護平臺，在數據存儲、傳輸、使用等各個(gè)方面均滿(mǎn)足當地國家的法律法規，包括GDPR要求的各項規定。華為堅持“上不碰應用、下不碰數據”，對用戶(hù)自身產(chǎn)生的數據全部交給用戶(hù)進(jìn)行加密處理，這里面就包括用戶(hù)提出的錄音存儲等訴求。
LiveVideoStack：目前華為云。視頻通話(huà)服務(wù)都覆蓋到了哪些行業(yè)場(chǎng)景？為匹配多種商業(yè)場(chǎng)景，你們團隊在編碼、轉碼、網(wǎng)絡(luò )等方面又有哪些儲備？
左俊：目前我們主要面向行業(yè)包括“在線(xiàn)教育”、“智能終端”、“社交娛樂(lè )”三個(gè)場(chǎng)景，這里拿智能終端舉例說(shuō)明。在今年8月上旬華為開(kāi)發(fā)者大會(huì )上發(fā)布的暢連通話(huà)背后的服務(wù)支持就是來(lái)自于華為云。視頻通話(huà)服務(wù)，這里面包含幾點(diǎn)關(guān)鍵技術(shù)：
解決方案層面：
- 全場(chǎng)景互聯(lián)互通：支持手機、平板、電視、音箱、手表的全場(chǎng)景互聯(lián)互通
- 音視頻技術(shù)層面：
- H265 720P：首次將H.265 720P應用于大規模實(shí)時(shí)通信系統，碼率降低到傳統系統的60%。（軟硬結合，華為手機專(zhuān)項優(yōu)化）
- 動(dòng)態(tài)感知的視頻超分技術(shù)+ROI感知編碼：網(wǎng)絡(luò )不佳，畫(huà)質(zhì)下降時(shí)，自動(dòng)提升畫(huà)質(zhì)體驗，結合ROI感知編碼技術(shù)，讓最終用戶(hù)的體驗更加清晰流暢
網(wǎng)絡(luò )路由及適應性方面：
- 感知切換：支持WIFI與無(wú)線(xiàn)分組的無(wú)感知切換（軟硬結合，華為手機專(zhuān)項優(yōu)化雙連接+網(wǎng)絡(luò )側首包學(xué)習）
- 基于網(wǎng)絡(luò )適應性強化學(xué)習的網(wǎng)絡(luò )帶寬預估：實(shí)時(shí)準確預測網(wǎng)絡(luò )帶寬，作為編碼器的輸入，形成聯(lián)動(dòng)，保證視頻效果
- 承載網(wǎng)絡(luò )優(yōu)化：基于華為在IP網(wǎng)絡(luò )以及華為云在網(wǎng)絡(luò )接入方面的積累和儲備，華為視頻云服務(wù)實(shí)現了在全國任何接入網(wǎng)絡(luò )條件下的IP路徑最優(yōu)，提升了用戶(hù)體驗
LiveVideoStack：計算服務(wù)具有高效、便捷、節約成本等諸多優(yōu)勢，隨著(zhù)云服務(wù)市場(chǎng)的快速發(fā)展，越來(lái)越多的運營(yíng)商和行業(yè)客戶(hù)開(kāi)始采用實(shí)時(shí)通信云服務(wù)產(chǎn)品，那么在數據存儲方面華為云。視頻通話(huà)服務(wù)是如何保障數據安全、保護用戶(hù)隱私的？
左俊：的確，你說(shuō)的這點(diǎn)正是許許多多客戶(hù)有所顧慮的。華為云。視頻通話(huà)服務(wù)在設計之初就已經(jīng)考慮了數據存儲、傳輸、使用的過(guò)程中滿(mǎn)足當地各個(gè)國家的法律法規，直接考慮的是面向的是全球化運營(yíng)場(chǎng)景。華為云。視頻通話(huà)服務(wù)遵循華為云的“上不碰應用、下不碰數據，不做股權投資”原則，高度重視用戶(hù)隱私保護，切實(shí)貫徹適用法律法規的要求，內部也有一套相應的管理辦法，保證華為公有云上的數據完全滿(mǎn)足GDPR的要求。對于一般的多流轉發(fā)音視頻通信，RTP媒體在路徑中是不被存儲的，各個(gè)節點(diǎn)只是基于最優(yōu)路徑的轉發(fā)，類(lèi)似基于路由表的路由器；再舉用戶(hù)錄音存儲訴求來(lái)說(shuō)，這類(lèi)的媒體都會(huì )由客戶(hù)自行管理的密鑰進(jìn)行加密或者是存儲在客戶(hù)指定的存儲資源上，這些數據從解決方案上已經(jīng)設計為無(wú)法被第三方獲取。
LiveVideoStack：實(shí)時(shí)通信更強調低延時(shí)和接通率，華為云。視頻通話(huà)服務(wù)在這方面都做了哪些工作？
左俊：低時(shí)延實(shí)際是一個(gè)相對的概念，ITU-T G.114建議的值是400ms以?xún)鹊膯蜗驎r(shí)延，基于這個(gè)值絕大多數用戶(hù)語(yǔ)音通信是可以接受的。但是在某些特殊場(chǎng)景，比如雙方著(zhù)急說(shuō)話(huà)形成的雙講場(chǎng)景，遠程K歌，VR/AR互動(dòng)等場(chǎng)景，這個(gè)值的要求就得嚴格許多。針對網(wǎng)絡(luò )質(zhì)量較好的的視頻通信場(chǎng)景，統計值95%的情況下從采集到屏幕呈現基本維持在300ms以?xún)龋@里的軟件優(yōu)化點(diǎn)還是很多很細的，比如Cache的調整，網(wǎng)絡(luò )路徑的優(yōu)化，網(wǎng)絡(luò )側復制轉發(fā)的優(yōu)化等等。
另外，在弱網(wǎng)情況下，時(shí)延常常可能超越視頻質(zhì)量成為通信第一要素（寧可沒(méi)有視頻，也要保證有音頻實(shí)時(shí)）。一般情況下，視頻的處理往往是后處理模塊使用FEC進(jìn)行冗余，但是這往往會(huì )因為增大buffer而增大時(shí)延。我們敏銳的感覺(jué)到，單調的修改網(wǎng)絡(luò )適應性模塊是不夠的，必須要在編碼器與網(wǎng)絡(luò )適應性模塊間形成聯(lián)動(dòng)，通過(guò)反饋環(huán)才能從E2E角度去降低冗余和時(shí)延。為此，華為研發(fā)的網(wǎng)絡(luò )適應性強化學(xué)習模塊能夠實(shí)時(shí)準確預測網(wǎng)絡(luò )帶寬，作為編碼器的輸入，實(shí)時(shí)調整編碼器比特率輸出，避免整個(gè)系統陷入越是帶寬不夠->越要抗丟包->越要冗余增加帶寬的惡性循環(huán)。當然這一招不會(huì )是銀彈，整個(gè)通信視頻中低時(shí)延處理是一個(gè)系統工程，我相信各個(gè)廠(chǎng)家在這方面都有自己的看門(mén)絕技，也歡迎大家一起交流。
LiveVideoStack：視頻質(zhì)量對于實(shí)時(shí)通信來(lái)說(shuō)也非常重要，華為云在這方面都做了哪些工作來(lái)提升用戶(hù)的使用體驗？
左俊：
- 選擇一個(gè)好的編解碼器，華為視頻通信選擇的是自研的HW265
- 有一個(gè)好的冗余及抗網(wǎng)絡(luò )抖動(dòng)算法
- 優(yōu)化無(wú)止境，通過(guò)照鏡子的方式匿名統計用戶(hù)質(zhì)量數據來(lái)進(jìn)行有針對性的改進(jìn)，比如故障樹(shù)分析。
LiveVideoStack：云上的海量視頻如果僅靠人工審核遠遠無(wú)法滿(mǎn)足需求，針對視頻質(zhì)量審核華為云有哪些獨到的審核方案？
左俊：我這里先大膽的解下題，假定是針對視頻質(zhì)量的審核，而不是針對內容是否合規的檢查。
實(shí)時(shí)通信中的質(zhì)量審核的確非常的重要，比如在教育場(chǎng)景，就有諸多的監課員負責課堂質(zhì)量審核。在一方面提升系統應對各種網(wǎng)絡(luò )質(zhì)量的同時(shí)，一個(gè)自我認知的“照鏡子”系統也是關(guān)鍵手段，不僅能夠讓服務(wù)運營(yíng)發(fā)現共性問(wèn)題，還能幫助客戶(hù)去定位最終用戶(hù)的各種使用問(wèn)題。華為云。視頻通話(huà)服務(wù)的“鏡子”系統通過(guò)自研的U-vMOS算法自動(dòng)實(shí)時(shí)計算當前會(huì )話(huà)各路的音視頻質(zhì)量，并上報給Ops系統，在客戶(hù)界面就可以準實(shí)時(shí)觀(guān)察到當前正在進(jìn)行的多方通話(huà)的質(zhì)量情況。此外，我們還實(shí)施了故障樹(shù)智能分析功能，可以幫助客戶(hù)管理員自動(dòng)的定位問(wèn)題，緩解了很多人對音視頻基礎知識匱乏的問(wèn)題。
LiveVideoStack：隨著(zhù)5G時(shí)代的來(lái)臨，網(wǎng)絡(luò )傳輸延遲將變得更低，這會(huì )引發(fā)哪些更實(shí)時(shí)的音視頻交互體驗？網(wǎng)絡(luò )帶寬變大對實(shí)時(shí)通信來(lái)說(shuō)是否會(huì )出現新的交互模式？
左俊：5G有三個(gè)大的場(chǎng)景，增強型移動(dòng)寬帶eMBB，大規模物聯(lián)網(wǎng)mMTC和高可靠低時(shí)延URLLC。目前可見(jiàn)的360 VR全景通信由于涉及360度的視頻傳遞，這里面對帶寬的需求就有很大了，當然，這個(gè)里面有很多的技術(shù)手段可以去壓縮&動(dòng)態(tài)調整視頻傳輸碼率，如基于Tiled的編碼方案，基于當前視角的FoV視頻傳遞等。此外，對于普通的視頻通信，一般還用不上5G的超低時(shí)延，但是在一些特殊場(chǎng)景上，比如在線(xiàn)K歌，AR遠程指導都需要很低的時(shí)延，否則就會(huì )形成滯后感。這些在5G的SA階段肯定會(huì )有相應的應用場(chǎng)景。
目前，全球范圍來(lái)看，5G的絕大多數興建都是以NSA為主的方案（中國三大運營(yíng)商預計會(huì )在2020年啟動(dòng)部署SA方案），也就是說(shuō)僅僅在無(wú)線(xiàn)側實(shí)現了5G基站的接入，這一段的實(shí)現還無(wú)法完全釋放5G定義的三大場(chǎng)景的對應能力，目前較成熟的也就是eMBB增強型移動(dòng)大寬帶場(chǎng)景。單純的大帶寬對通信視頻的影響還是有限的，未來(lái)的創(chuàng )新場(chǎng)景還需要更多的在接入端側有顛覆性的變化，此外，對于端側的算力及功耗問(wèn)題，還需要網(wǎng)絡(luò )側有一定邊緣計算解決方案配合。
舉個(gè)例子來(lái)說(shuō)，AR遠程協(xié)助場(chǎng)景，首先是基于通信的，再者由于指導端到被指導端的視頻環(huán)回以及指導端可能的自由視角需求，需要將媒體路徑盡可能放低（傳輸網(wǎng)絡(luò )時(shí)延、QoS暫時(shí)無(wú)法保證），這就衍生出邊緣計算的場(chǎng)景（邊緣就近接入及媒體處理），目前這塊還在研究的過(guò)程中，有成果了再給大家匯報。
硬派多媒體技術(shù)方案沙龍·2019深圳
從WebRTC、低延遲直播到邊緣計算，從編解碼Codec到AI加速，從全景視頻到沉浸式音頻，從5G到超高清，從金融、教育、制造等行業(yè)應用場(chǎng)景優(yōu)化到QoE用戶(hù)體驗……硬派多媒體技術(shù)方案沙龍（The Future Impact of Multimedia Technology & Solutions Forum）旨在甄選技術(shù)領(lǐng)先、成熟的方案與案例，推動(dòng)技術(shù)傳播，連接多媒體技術(shù)生態(tài)上下游。來(lái)源：<span style="color: rgb(51, 51, 51); font-family: -apple-system-font, BlinkMacSystemFont, " helvetica="" neue",="" "pingfang="" sc",="" "hiragino="" sans="" gb",="" "microsoft="" yahei="" ui",="" yahei",="" arial,="" sans-serif;="" font-size:="" 0px;="" letter-spacing:="" 0.544px;"=""> LiveVideoStack
