• <strike id="fdgpu"><input id="fdgpu"></input></strike>
    <label id="fdgpu"></label>
    <s id="fdgpu"><code id="fdgpu"></code></s>

  • <label id="fdgpu"></label>
  • <span id="fdgpu"><u id="fdgpu"></u></span>

    <s id="fdgpu"><sub id="fdgpu"></sub></s>
    您當前的位置是:  首頁(yè) > 新聞 > 文章精選 >
     首頁(yè) > 新聞 > 文章精選 >

    WebRTC:并非解決音視頻應用所有問(wèn)題的銀彈

    2018-02-24 09:47:08   作者:   來(lái)源:CTI論壇   評論:0  點(diǎn)擊:


      WebRTC 1.0標準雖然已經(jīng)定稿,但各個(gè)瀏覽器的實(shí)現都還不成熟,處于快速迭代中,網(wǎng)易云信CTO趙加雨針對實(shí)時(shí)通信技術(shù)演進(jìn)、WebRTC國內外發(fā)展與趨勢、以及開(kāi)發(fā)難點(diǎn)和不足做了詳細分析。本文是『WebRTC-互聯(lián)網(wǎng)音視頻新標準?』系列的第四篇,如果您對WebRTC技術(shù)的未來(lái)有分析和洞見(jiàn),歡迎聯(lián)系 contribute@livevideostack.com。
      策劃 / LiveVideoStack關(guān)于分享嘉賓:趙加雨,網(wǎng)易云信CTO,曾深度參與 Cisco Jabber、Webex Meeting、網(wǎng)易視頻云等多項分布式實(shí)時(shí)通信類(lèi)產(chǎn)品的架構與研發(fā),具備多年海外工作經(jīng)驗及大型研發(fā)團隊管理經(jīng)驗,擅長(cháng)構建高并發(fā)的實(shí)時(shí)通訊類(lèi)的互聯(lián)網(wǎng)產(chǎn)品。
      LiveVideoStack:您參與開(kāi)發(fā)了WebEx Meeting,Cisco Spark到現在的WebRTC,開(kāi)發(fā)音視頻應用的難度與流程有了哪些變化?挑戰在哪里?
      Rain: WebEx是十幾年前的產(chǎn)品,那個(gè)時(shí)候的帶寬還很低,做音視頻的人才也很少,研發(fā)的難度還是很大的,為了實(shí)現低帶寬場(chǎng)景下的桌面共享和音視頻通話(huà),WebEx也是做了很多黑科技的。發(fā)展到今天帶寬已經(jīng)不是問(wèn)題,但是人們對于音視頻的期望和要求也變高了,加上各種弱網(wǎng)和跨網(wǎng)的問(wèn)題,音視頻研發(fā)的難度仍然很高,而WebRTC的開(kāi)源在一定程度上降低了音視頻研發(fā)的門(mén)檻,實(shí)現一個(gè)簡(jiǎn)單的音視頻應用變得相對容易了,但是要想實(shí)現一個(gè)高質(zhì)量的音視頻應用,難度仍然很大。
      LiveVideoStack:從小團隊到大團隊,直到擔任CTO,每個(gè)階段面臨的最大挑戰是什么?如何找到不斷前行的動(dòng)力?
      Rain:從普通工程師一路走來(lái),個(gè)人能力在不斷提高,相應的承擔的膽子也越來(lái)越大,從自己做到帶團隊做,到現在作為CTO,每個(gè)階段有每個(gè)階段的挑戰。作為CTO,需要對整個(gè)團隊的技術(shù)架構和技術(shù)方向負責,對技術(shù)團隊的成長(cháng)和團隊建設負責,也要有一定的業(yè)務(wù)意識,和其他團隊一起對業(yè)務(wù)負責。個(gè)人能保持不斷成長(cháng),我的心得是要保持好奇心,對于新技術(shù)要保持不斷學(xué)習,另外要不斷走出舒適區,每一次走出舒適區都是成長(cháng)最大的時(shí)候。第三是盡量和牛人一起工作,在類(lèi)似網(wǎng)易這樣的公司,和頂級的團隊和頂級的人才一起工作成長(cháng)會(huì )非常大。
      LiveVideoStack:對于有興趣(或轉行)學(xué)習音視頻開(kāi)發(fā)的初學(xué)者,您有什么建議?有沒(méi)有推薦學(xué)習的圖書(shū)資料?從哪些技術(shù)棧開(kāi)始入手?
      Rain:音視頻技術(shù)棧比較長(cháng),有側重算法的,也有側重工程的,有編解碼相關(guān)的,也有網(wǎng)絡(luò )和傳輸相關(guān)的,有服務(wù)端開(kāi)發(fā),有算法層開(kāi)發(fā),也有各種端適配,有基于UDP的實(shí)時(shí)音技術(shù),也有基于TCP的直播技術(shù),一個(gè)人很難覆蓋所有的技術(shù)點(diǎn)。個(gè)人建議是結合自己的技術(shù)背景和興趣,選擇某一個(gè)點(diǎn)開(kāi)始,然后逐漸深入。當選擇一個(gè)方向后,可以看相關(guān)的資料,音視頻的技術(shù)書(shū)籍比較少,但是有大量的RFC文檔,因此需要一定的英文閱讀能力。當然,最好的入門(mén)方式是加入類(lèi)似網(wǎng)易云信這樣的專(zhuān)業(yè)音視頻團隊,跟著(zhù)項目和同事學(xué)習,同時(shí)大量閱讀RFC文檔。
      關(guān)于WebRTCLiveVideoStack:去年蘋(píng)果宣布在iOS 11中支持WebRTC,至此完成了主流PC瀏覽器和移動(dòng)端的全覆蓋,您認為它會(huì )成為今年的技術(shù)熱點(diǎn)和趨勢嗎?
      Rain:我相信會(huì )的,WebRTC從發(fā)布至今一直是技術(shù)的熱點(diǎn),Safari 11開(kāi)始支持WebRTC后,這表示所有主流OS上的default browser都支持WebRTC了,這會(huì )進(jìn)一步推動(dòng)WebRTC的應用。WebRTC是P2P的,沒(méi)有考慮服務(wù)端,也沒(méi)有考慮與其他系統的集成,有些公司會(huì )基于WebRTC技術(shù)來(lái)構建音視頻應用,另外由于WebRTC的普及,各音視頻應用也會(huì )考慮支持WebRTC,將瀏覽器作為音視頻應用的入口。
      LiveVideoStack:WebRTC在國外的發(fā)展是如何一步一步走到現在的?您對國內目前的應用現狀如何看?
      Rain:自從Google在2011年開(kāi)源WebRTC后,這一技術(shù)就一直備受關(guān)注,但是由于音視頻技術(shù)的復雜性和規范制定的滯后性,前幾年的WebRTC技術(shù)一直處于試用階段,并不穩定,最早支持WebRTC技術(shù)的Chrome瀏覽器和Firefox瀏覽器,Chrome在功能上相對穩定一點(diǎn),但在遵循規范上做的不夠好,Firefox在遵循規范上做的更好,但是功能上不夠成熟。過(guò)去幾年的WebRTC技術(shù)實(shí)現和規范制定都在快速迭代中,因此并沒(méi)有成熟的商業(yè)化產(chǎn)品出現,直到最近2年,出現了越來(lái)越多的WebRTC應用,也有更多音視頻應用支持WebRTC,相信WebRTC在教育、遠程醫療等場(chǎng)景下會(huì )有較為廣泛的應用。
      LiveVideoStack:國外使用WebRTC的項目或者創(chuàng )業(yè)公司的情況如何?有什么是我們可以去借鑒和學(xué)習的地方。
      Rain:隨著(zhù)支持WebRTC的瀏覽器越來(lái)越多,國外出現了不少創(chuàng )業(yè)公司,完全基于WebRTC技術(shù)來(lái)實(shí)現音視頻通話(huà),沒(méi)有SFU/MCU,可以實(shí)現雙人通話(huà),也可以通過(guò)mesh的方式實(shí)現3-4人的多方通話(huà),由于沒(méi)有流媒體服務(wù)端,也沒(méi)有流量成本,因此可以以比較低的價(jià)格來(lái)提供相對簡(jiǎn)單的音視頻服務(wù),另外也有一些創(chuàng )業(yè)公司并不是構建音視頻應用,而是利用WebRTC技術(shù)并結合來(lái)其他一些技術(shù)來(lái)構建有意思的應用,譬如結合Web Audio API, File API, MSE,Canvas/WebGL等技術(shù),還有一些公司利用DataChannel來(lái)實(shí)現完全基于web的P2P分發(fā)網(wǎng)絡(luò ),WebRTC和其他的一些HTML5技術(shù)一起賦予了browser更多的能力,這里可以挖掘出不少玩法。
      LiveVideoStack:去年的W3C技術(shù)大會(huì )提出通過(guò)QUIC來(lái)實(shí)現WebRTC,對此您如何看待?
      Rain:QUIC是Google提出的傳輸層協(xié)議,是一種可靠UDP協(xié)議,用于解決TCP協(xié)議的隊首阻塞、建立連接慢、帶寬利用不足、時(shí)延大等問(wèn)題,隨著(zhù)QUIC協(xié)議的成熟,應該會(huì )被利用到更多地方,包括WebRTC的DataChannel。
      LiveVideoStack:WebRTC對主流視頻編解碼的支持還并不是很好,尤其是對于H.265的支持,您如何看待這個(gè)問(wèn)題?他未來(lái)會(huì )去做支持嗎?包括AV1等等。
      Rain:WebRTC目前支持VP8/VP9/H264,支持H265并沒(méi)有太多技術(shù)上的問(wèn)題,目前主要的問(wèn)題還是license,而這個(gè)問(wèn)題短期內還看不到解決的可能,因此H265在WebRTC里的支持還不太樂(lè )觀(guān)。AV1是AOM聯(lián)盟推出的視頻編碼標準,AOM聯(lián)盟的目標是在視頻領(lǐng)域復制OPUS在音頻編碼領(lǐng)域的成功,實(shí)現一個(gè)能適應多種場(chǎng)景(高時(shí)延和低時(shí)延,軟編和硬編,視頻與錄屏等等)的視頻編碼器,AOM獲得了非常多公司的支持,AV1編碼器的進(jìn)展也比較快,隨著(zhù)AV1的成熟,WebRTC應該會(huì )比較快的支持AV1。
      LiveVideoStack:在應用WebRTC開(kāi)發(fā)過(guò)程中,您認為或者遇到的難點(diǎn)有哪些以及解決方案式怎樣的?
      Rain:WebRTC標準剛剛定稿,各個(gè)瀏覽器的實(shí)現都還不成熟,也處于快速迭代中,因此基于WebRTC的研發(fā)一方面要兼容各個(gè)瀏覽器的區別,也需要快速跟上瀏覽器的迭代速度,另外WebRTC并沒(méi)有定義信令怎么做,也沒(méi)有服務(wù)端的方案,也沒(méi)有錄制、轉碼等,要實(shí)現一個(gè)完整的音視頻應用還需要做非常多的工作。如果是基于libwebrtc來(lái)構建音視頻應用,需要非常資深的團隊花比較多的時(shí)間才能吃透libwebrtc的代碼,而這些代碼也在快速迭代中,你可能也需要將這些基于P2P場(chǎng)景的策略算法修改成適合多人會(huì )話(huà)場(chǎng)景。
      LiveVideoStack:您認為哪些行業(yè)會(huì )成為WebRTC的突破點(diǎn)和最佳實(shí)踐應用?
      Rain:WebRTC實(shí)現了在web端的低時(shí)延音視頻通話(huà)的能力,因此需要web端低時(shí)延音視頻的場(chǎng)景都可以利用webrtc技術(shù)來(lái)實(shí)現,譬如在線(xiàn)教育和遠程醫療。不過(guò)這里也要提醒一下,WebRTC并不是解決音視頻應用所有問(wèn)題的銀彈,它僅僅解決了音視頻應用的一部分問(wèn)題,提供了一個(gè)音頻處理框架、網(wǎng)絡(luò )擁塞控制框架,P2P打洞與網(wǎng)絡(luò )連接框架,音視頻引擎等,所有的策略算法都是為了P2P場(chǎng)景下的語(yǔ)音通話(huà)來(lái)實(shí)現的,你的產(chǎn)品可能并不是這樣的場(chǎng)景,那么就不能使用WebRTC,或者要做深度修改。譬如網(wǎng)易云信,作為PaaS平臺需要滿(mǎn)足各種場(chǎng)景下的音視頻應用,有一類(lèi)應用就是音樂(lè )教學(xué),既有音樂(lè )又有通話(huà),音樂(lè )的聲音是全頻段的,因為有通話(huà),回音消除也是需要的,為了保證音樂(lè )教學(xué)場(chǎng)景下的聲音效果,從語(yǔ)音采集到語(yǔ)音3A前處理,再到網(wǎng)絡(luò )擁塞控制策略等等,都需要針對音樂(lè )教學(xué)這樣的場(chǎng)景來(lái)做特別的策略算法。
      WebRTCon 2018 8折報名WebRTCon希望與行業(yè)專(zhuān)家一同分享、探討當下技術(shù)熱點(diǎn)、行業(yè)最佳應用實(shí)踐。
    【免責聲明】本文僅代表作者本人觀(guān)點(diǎn),與CTI論壇無(wú)關(guān)。CTI論壇對文中陳述、觀(guān)點(diǎn)判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

    專(zhuān)題

    亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩 贵德县| 台北市| 盱眙县| 平度市| 荔浦县| 垦利县| 凌海市| 邵阳市| 青铜峡市| 陆丰市| 如东县| 杨浦区| 农安县| 阳江市| 颍上县| 白水县| 大英县| 卓尼县| 文水县| 克东县| 安阳县| 博客| 什邡市| 扎囊县| 河北区| 彭水| 南开区| 英德市| 东平县| 武安市| 武隆县| 林甸县| 柘城县| 密云县| 紫金县| 偏关县| 剑阁县| 基隆市| 汾阳市| 连云港市| 洪湖市| http://444 http://444 http://444 http://444 http://444 http://444