科天云以音視頻技術(shù)賦予各行業(yè)新的生命力
科天云研發(fā)團隊匯集了很多曾在思科、華為、IBM等企業(yè)就職的人才，有非常豐富的音視頻產(chǎn)品研發(fā)經(jīng)驗。
如圖所示，科天云自研的音視頻通用SDK可將各種設備接進(jìn)來(lái)，無(wú)論是在公有云上直接用，還是在私有云上部署，滿(mǎn)足各類(lèi)客戶(hù)的需求。
RTC兩個(gè)難點(diǎn)
實(shí)時(shí)音視頻技術(shù)RTC的兩個(gè)難點(diǎn)：一是如何兼容海量設備，二是怎樣應對復雜多變的網(wǎng)絡(luò )。
適配海量終端
先從設備開(kāi)始。圖上主要說(shuō)明了視頻會(huì )議如何涵蓋從口袋到董事會(huì )會(huì )議室的需求，從最左邊最簡(jiǎn)單的手機、Pad，到桌面設備，到雙屏、三屏的網(wǎng)真。用過(guò)視頻會(huì )議的人應該都聽(tīng)說(shuō)過(guò)網(wǎng)真，它的屏幕可以與真人大小一樣，很多電視采訪(fǎng)都使用了網(wǎng)真設備。
在公司會(huì )議室開(kāi)會(huì )時(shí)，大多數依然使用SIP/H.323硬件終端。一些有安全要求的制造業(yè)客戶(hù)用VDI虛擬桌面，這種硬件跑會(huì )議會(huì )碰到很多問(wèn)題，VDI點(diǎn)對點(diǎn)呼叫會(huì )有所謂發(fā)卡效應，音視頻都要到虛擬服務(wù)器繞一圈。在這種服務(wù)器上做音視頻、會(huì )議客戶(hù)端要采取特殊措施。
SIP/H.323協(xié)議兼容其實(shí)非常復雜，最少要兼容國際廠(chǎng)商例如思科、POLYCOM、AVAYA，國內廠(chǎng)商例如華為、中興，這些頭部廠(chǎng)商都要支持，甚至這些廠(chǎng)商多年前的老設備老版本也要兼容。
適配海量家電
到去年，隨著(zhù)萬(wàn)物互聯(lián)的興起，以及母公司TCL（因為其做屏幕有各種家電）提出將整個(gè)音視頻帶到所有家電中的戰略，科天云開(kāi)始擴展適配終端的類(lèi)型。這也是非常大的挑戰。
以前主要做安卓手機，現在安卓電視要適配CPU、GPU，還有分辨率的適配、豎屏變橫屏等。現在市場(chǎng)上也推出了帶攝像頭的掃地機器人，帶屏幕的吸油煙機、冰箱，智能門(mén)鈴也有屏幕攝像頭，這些設備多種多樣。
音視頻賦能智能家電是很有意義的，一些老人和小孩還是習慣看電視，新的電視機上有攝像頭，在外辦公的我們想看家里的老人和孩子時(shí)，在手機上點(diǎn)一下，在家那端的老人孩子無(wú)需做任何操作就能音視頻通話(huà)了，很方便，可以時(shí)刻關(guān)愛(ài)家人。
章魚(yú)跨平臺全端SDK
我們花了很大功夫去做上述終端的適配。用純C代碼實(shí)現端側所有功能，WebRTC是用C++寫(xiě)的，用C語(yǔ)言才能做到可移植，做到非常小的安裝包，適應超低功耗，利用不同編譯器適應不同平臺。雖然我們做了移植和裁減，但在抗弱網(wǎng)能力和首幀低延時(shí)方面還是實(shí)現了非常好的效果。
音頻弱網(wǎng)卡頓現象
音頻整體比視頻從發(fā)送到接收要簡(jiǎn)單一些。整個(gè)損耗大部分發(fā)生在網(wǎng)絡(luò )側，設備側損耗和信號處理方面也有一些，抗丟包擁塞控制方面，音視頻的技術(shù)都類(lèi)似。
章魚(yú)音頻抗丟包
在客戶(hù)端方面，我們科天云自研的冗余算法比較好，實(shí)測下在70%左右的網(wǎng)絡(luò )丟包場(chǎng)景下音頻可接受。在瀏覽器和SIP終端能做的優(yōu)化手段，沒(méi)有軟客戶(hù)端那么多，只能利用Opus帶內FEC，可對抗40%左右丟包。
RTC視頻全流程
上圖是RTC視頻全流程的簡(jiǎn)圖。它比音頻復雜，做視頻傳輸的核心是碼率控制器，需要控制編碼碼率、FEC冗余度、丟包重傳碼率，最后通過(guò)Paced Sender控制發(fā)送碼率到接收端。期間經(jīng)過(guò)了很多代的迭代，最早完全靠接收端在REMB報文中反饋可接收帶寬，現在主要在發(fā)送端進(jìn)行帶寬評估（基于接收端反饋的Transport-CC報文）。
章魚(yú)視頻抗丟包
最后通過(guò)以上各個(gè)環(huán)節優(yōu)化，科天云在視頻方面可對抗60%左右的丟包。根據NACK請求進(jìn)行丟包重傳，在低RTT的場(chǎng)景下NACK重傳的抗丟包效果還是比較明顯，同時(shí)也結合一些FEC的糾錯。SIP在視頻方面需要根據SIP設備反饋的丟包率及時(shí)延情況，動(dòng)態(tài)調整視頻分辨率和碼率，SIP終端的軟件硬件都比較難控制，有很多廠(chǎng)家，相較軟客戶(hù)端調優(yōu)難度系數大。
章魚(yú)信令升級
如果把音視頻都做到較好的弱網(wǎng)對抗性了，信令就是我們接下來(lái)需要優(yōu)化的點(diǎn)了，要考慮信令的升級。最早比較多同行用WebSocket傳信令，還有人在私有的RUDP協(xié)議上做信令傳輸，WebRTC新標準在推WebTransport，用它做信令升級，相較于基于TCP的WebSocket有很多優(yōu)勢。比如：更快的連接握手、連接多路復用、擴展FEC機制、支持連接遷移、改進(jìn)的擁塞控制算法等。
如需獲得完整版演講PPT內容，請您掃碼留下聯(lián)系方式。
獲取產(chǎn)品/方案詳情
關(guān)于科天云（www.ketianyun.com）
科天云專(zhuān)注為企業(yè)用戶(hù)提供領(lǐng)先的專(zhuān)業(yè)級音視頻協(xié)作服務(wù)和解決方案。科天云憑借多年視頻會(huì )議及智能客服的音視頻能力沉淀積累，依托音視頻功能模組（aPass中臺）的開(kāi)發(fā)能力，打造“音視頻+AIOT+場(chǎng)景應用解決方案”的實(shí)時(shí)音視頻連接應用服務(wù)，為各類(lèi)品牌設備商、ISV、SI提供最專(zhuān)業(yè)的音視頻、云邊協(xié)同、智能化的解決方案和服務(wù)能力。科天云服務(wù)已覆蓋制造、教育、醫療、政府、金融、地產(chǎn)等諸多行業(yè)，為超過(guò)10萬(wàn)家企業(yè)客戶(hù)加速推動(dòng)協(xié)作變革和數字轉型。
