WebRTC架構圖
(1) Your Web App
Web開(kāi)發(fā)者開(kāi)發(fā)的程序，Web開(kāi)發(fā)者可以基于集成WebRTC的瀏覽器提供的web API開(kāi)發(fā)基于視頻、音頻的實(shí)時(shí)通信應用。
(2) Web API
面向第三方開(kāi)發(fā)者的WebRTC標準API（Javascript），使開(kāi)發(fā)者能夠容易地開(kāi)發(fā)出類(lèi)似于網(wǎng)絡(luò )視頻聊天的web應用，最新的標準化進(jìn)程可以查看這里。
(3) WebRTC Native C++ API
本地C++ API層，使瀏覽器廠(chǎng)商容易實(shí)現WebRTC標準的Web API，抽象地對數字信號過(guò)程進(jìn)行處理。
面向第三方開(kāi)發(fā)者的WebRTC標準API（Javascript），使開(kāi)發(fā)者能夠容易地開(kāi)發(fā)出類(lèi)似于網(wǎng)絡(luò )視頻聊天的web應用，最新的標準化進(jìn)程可以查看這里。
(3) WebRTC Native C++ API
本地C++ API層，使瀏覽器廠(chǎng)商容易實(shí)現WebRTC標準的Web API，抽象地對數字信號過(guò)程進(jìn)行處理。
(4) Transport / Session
傳輸/會(huì )話(huà)層
會(huì )話(huà)層組件采用了libjingle庫的部分組件實(shí)現，無(wú)須使用xmpp/jingle協(xié)議
a. RTP Stack協(xié)議棧
Real Time Protocol
b. STUN/ICE
可以通過(guò)STUN和ICE組件來(lái)建立不同類(lèi)型網(wǎng)絡(luò )間的呼叫連接。
c. Session Management
一個(gè)抽象的會(huì )話(huà)層，提供會(huì )話(huà)建立和管理功能。該層協(xié)議留給應用開(kāi)發(fā)者自定義實(shí)現。
a. RTP Stack協(xié)議棧
Real Time Protocol
b. STUN/ICE
可以通過(guò)STUN和ICE組件來(lái)建立不同類(lèi)型網(wǎng)絡(luò )間的呼叫連接。
c. Session Management
一個(gè)抽象的會(huì )話(huà)層，提供會(huì )話(huà)建立和管理功能。該層協(xié)議留給應用開(kāi)發(fā)者自定義實(shí)現。
(5) VoiceEngine
音頻引擎是包含一系列音頻多媒體處理的框架，包括從視頻采集卡到網(wǎng)絡(luò )傳輸端等整個(gè)解決方案。
PS：VoiceEngine是WebRTC極具價(jià)值的技術(shù)之一，是Google收購GIPS公司后開(kāi)源的。在VoIP上，技術(shù)業(yè)界領(lǐng)先，后面的文章會(huì )詳細了解
音頻引擎是包含一系列音頻多媒體處理的框架，包括從視頻采集卡到網(wǎng)絡(luò )傳輸端等整個(gè)解決方案。
PS：VoiceEngine是WebRTC極具價(jià)值的技術(shù)之一，是Google收購GIPS公司后開(kāi)源的。在VoIP上，技術(shù)業(yè)界領(lǐng)先，后面的文章會(huì )詳細了解
a. iSAC
Internet Speech Audio Codec
針對VoIP和音頻流的寬帶和超寬帶音頻編解碼器，是WebRTC音頻引擎的默認的編解碼器
采樣頻率：16khz，24khz，32khz；（默認為16khz）
自適應速率為10kbit/s ~ 52kbit/；
自適應包大小：30~60ms；
算法延時(shí)：frame + 3ms
采樣頻率：16khz，24khz，32khz；（默認為16khz）
自適應速率為10kbit/s ~ 52kbit/；
自適應包大小：30~60ms；
算法延時(shí)：frame + 3ms
b. iLBC
Internet Low Bitrate Codec
VoIP音頻流的窄帶語(yǔ)音編解碼器
采樣頻率：8khz；
20ms幀比特率為15.2kbps
30ms幀比特率為13.33kbps
標準由IETF RFC3951和RFC3952定義
Internet Low Bitrate Codec
VoIP音頻流的窄帶語(yǔ)音編解碼器
采樣頻率：8khz；
20ms幀比特率為15.2kbps
30ms幀比特率為13.33kbps
標準由IETF RFC3951和RFC3952定義
c. NetEQ for Voice
針對音頻軟件實(shí)現的語(yǔ)音信號處理元件
NetEQ算法：自適應抖動(dòng)控制算法以及語(yǔ)音包丟失隱藏算法。使其能夠快速且高解析度地適應不斷變化的網(wǎng)絡(luò )環(huán)境，確保音質(zhì)優(yōu)美且緩沖延遲最小。
是GIPS公司獨步天下的技術(shù)，能夠有效的處理由于網(wǎng)絡(luò )抖動(dòng)和語(yǔ)音包丟失時(shí)候對語(yǔ)音質(zhì)量產(chǎn)生的影響。
PS：NetEQ 也是WebRTC中一個(gè)極具價(jià)值的技術(shù)，對于提高VoIP質(zhì)量有明顯效果，加以AEC\NR\AGC等模塊集成使用，效果更好。
d. Acoustic Echo Canceler (AEC)
回聲消除器是一個(gè)基于軟件的信號處理元件，能實(shí)時(shí)的去除mic采集到的回聲。
回聲消除器是一個(gè)基于軟件的信號處理元件，能實(shí)時(shí)的去除mic采集到的回聲。
e. Noise Reduction (NR)
噪聲抑制也是一個(gè)基于軟件的信號處理元件，用于消除與相關(guān)VoIP的某些類(lèi)型的背景噪聲（嘶嘶聲，風(fēng)扇噪音等等… …）
噪聲抑制也是一個(gè)基于軟件的信號處理元件，用于消除與相關(guān)VoIP的某些類(lèi)型的背景噪聲（嘶嘶聲，風(fēng)扇噪音等等… …）
(6) VideoEngine
WebRTC視頻處理引擎
VideoEngine是包含一系列視頻處理的整體框架，從攝像頭采集視頻到視頻信息網(wǎng)絡(luò )傳輸再到視頻顯示整個(gè)完整過(guò)程的解決方案。
WebRTC視頻處理引擎
VideoEngine是包含一系列視頻處理的整體框架，從攝像頭采集視頻到視頻信息網(wǎng)絡(luò )傳輸再到視頻顯示整個(gè)完整過(guò)程的解決方案。
a. VP8
視頻圖像編解碼器，是WebRTC視頻引擎的默認的編解碼器
VP8適合實(shí)時(shí)通信應用場(chǎng)景，因為它主要是針對低延時(shí)而設計的編解碼器。
PS:VPx編解碼器是Google收購ON2公司后開(kāi)源的，VPx現在是WebM項目的一部分，而WebM項目是Google致力于推動(dòng)的HTML5標準之一
視頻圖像編解碼器，是WebRTC視頻引擎的默認的編解碼器
VP8適合實(shí)時(shí)通信應用場(chǎng)景，因為它主要是針對低延時(shí)而設計的編解碼器。
PS:VPx編解碼器是Google收購ON2公司后開(kāi)源的，VPx現在是WebM項目的一部分，而WebM項目是Google致力于推動(dòng)的HTML5標準之一
b. Video Jitter Buffer
視頻抖動(dòng)緩沖器，可以降低由于視頻抖動(dòng)和視頻信息包丟失帶來(lái)的不良影響。
視頻抖動(dòng)緩沖器，可以降低由于視頻抖動(dòng)和視頻信息包丟失帶來(lái)的不良影響。
c. Image enhancements
圖像質(zhì)量增強模塊
對網(wǎng)絡(luò )攝像頭采集到的圖像進(jìn)行處理，包括明暗度檢測、顏色增強、降噪處理等功能，用來(lái)提升視頻質(zhì)量。
圖像質(zhì)量增強模塊
對網(wǎng)絡(luò )攝像頭采集到的圖像進(jìn)行處理，包括明暗度檢測、顏色增強、降噪處理等功能，用來(lái)提升視頻質(zhì)量。
