圖1：2021Qcon·北京站
在音視頻服務(wù)解決方案專(zhuān)場(chǎng)中，全球互聯(lián)網(wǎng)通信云領(lǐng)先廠(chǎng)商融云作為受邀嘉賓，重點(diǎn)解析了融云音視頻SDK的自動(dòng)化測試鏈路探索與實(shí)踐，讓開(kāi)發(fā)者了解了SDK 打包集成測試過(guò)程中的難點(diǎn)痛點(diǎn)，以及多樣性 SDK 自動(dòng)化交互測試設計思路。
測試的終極目標是保證SDK質(zhì)量
融云自2014年創(chuàng )立以來(lái)，專(zhuān)注于通信云賽道，以提供SDK/API的方式，為數百種應用場(chǎng)景賦予通信云能力。為了不斷滿(mǎn)足開(kāi)發(fā)者對產(chǎn)品功能的需求，成立7年來(lái)，融云的SDK接口數量從279個(gè)增長(cháng)到597個(gè)，服務(wù)端的API接口數量從36個(gè)增長(cháng)到107個(gè)，并且適配Android、iOS、Web、Flutter、小程序、桌面版等全平臺。
同時(shí)，融云還將眾多的SDK集合成不同類(lèi)型的Demo，方便開(kāi)發(fā)者調用，覆蓋了直播模式SealLive、即時(shí)通訊SealTalk、融云課堂SealClass、實(shí)時(shí)音視頻SealRTC、語(yǔ)音聊天室SealMic、視頻會(huì )議SealMeeting等眾多場(chǎng)景。這些場(chǎng)景化的Demo和SDK已累計服務(wù)超過(guò) 30萬(wàn)款App，SDK觸達50億用戶(hù)。
伴隨著(zhù)SDK數量增長(cháng)，和場(chǎng)景Demo的多樣化，開(kāi)發(fā)者最關(guān)心的是融云如何保障終端SDK的質(zhì)量。會(huì )上，融云自動(dòng)化測試架構師陳沛杰發(fā)表了《融云 SDK 交付質(zhì)量保障探索及應用》的主題演講，從實(shí)戰經(jīng)驗出發(fā)，為開(kāi)發(fā)者答疑解惑。
圖2：融云自動(dòng)化測試架構師陳沛杰發(fā)表演講
目前，衡量音視頻質(zhì)量的指標眾多，分為直接與音視頻相關(guān)的和與網(wǎng)絡(luò )相關(guān)的兩大類(lèi)。其中，直接與音視頻相關(guān)的包括視頻連通率、卡頓、清晰度、花屏、黑屏、首幀時(shí)間，以及音頻嘯叫抑制、回聲抵消、噪聲抑制等；而在網(wǎng)絡(luò )傳輸中，弱網(wǎng)、丟包、延時(shí)、抖動(dòng)和網(wǎng)絡(luò )自適應調整，也會(huì )影響終端SDK質(zhì)量。此外，CPU、內存、IO、流量、發(fā)熱等性能指標，與安全、兼容相關(guān)的靜態(tài)代碼掃描、安全工具分析，以及版本兼容、設備碎片化等，也都是影響終端SDK質(zhì)量的因素。
因此，為交付有質(zhì)量保證的SDK，融云的做法就是兩個(gè)字：測試。只有通過(guò)測試，才能掌握這些指標，進(jìn)而針對薄弱環(huán)節加以?xún)?yōu)化，確保SDK穩定性。在測試環(huán)節，融云通過(guò)工具化、腳本化的方式，實(shí)現Demo業(yè)務(wù)測試的自動(dòng)化，通過(guò)對業(yè)務(wù)測試、專(zhuān)項測試、SDK 接口測試的快速迭代，來(lái)跟進(jìn)和掌握相關(guān)指標數據。
基于業(yè)務(wù)的專(zhuān)項自動(dòng)化測試實(shí)踐
融云對Demo業(yè)務(wù)自動(dòng)化測試的思考基于兩個(gè)維度：一個(gè)是如何實(shí)現業(yè)務(wù)自動(dòng)化測試，保證終端 SDK 產(chǎn)品多樣性以及多端交互的穩定性？另一個(gè)是音視頻專(zhuān)項測試是如何進(jìn)行的？
在業(yè)務(wù)自動(dòng)化測試實(shí)踐方面，融云通過(guò)對終端業(yè)務(wù)自動(dòng)化測試工具的選型，制定出科學(xué)的終端業(yè)務(wù)自動(dòng)化測試流程。
圖3：終端業(yè)務(wù)自動(dòng)化測試流程
通過(guò)這一流程，首先可以實(shí)現在大量的 Android 、Web、iOS 、Win、Mac 之間任意自由組合，進(jìn)行多端交互、交叉測試。其次，利用插件重點(diǎn)關(guān)注連通率、穩定性、畫(huà)面檢測（黑屏、綠屏等）、性能數據、弱網(wǎng)和抓包數據等重要質(zhì)量指標。第三，完整保存了終端過(guò)程數據。例如：日志、真實(shí)終端渲染后音頻、視頻畫(huà)面錄制等。
在音視頻專(zhuān)項測試的實(shí)踐方面，測試需要實(shí)現端到端的整體覆蓋，包括采集、預處理、編碼，到網(wǎng)絡(luò )傳輸，再進(jìn)行解碼、后處理和渲染的整個(gè)傳輸過(guò)程。
圖4：音視頻專(zhuān)項測試實(shí)踐
要完成這一過(guò)程，陳沛杰以音視頻抗丟包自動(dòng)化測試為例，介紹了主要步驟：
通過(guò)業(yè)務(wù)UI自動(dòng)化平臺鏈接到網(wǎng)損儀路由；
由接口調用網(wǎng)損儀的相關(guān)參數傳輸至終端設備，錄制終端畫(huà)面后，上傳至平臺。
第三， 自動(dòng)或人工分析，完成音視頻抗丟包自動(dòng)化測試。
此外，融云還可通過(guò)傳統手工+測試工具結合的方式，進(jìn)行自動(dòng)化測試，完成端到端的延時(shí)測試，以及通過(guò)工具實(shí)現性能數據統計等。
通過(guò)這些測試，最終可以掌握諸如CPU 占用率、內存占用值、耗電量、流量、FPS、卡頓等相關(guān)性能指標，以及視頻、聲音延遲；視頻、聲音質(zhì)量；嘯叫距離、嘯叫抑制和音頻、視頻通話(huà)抗丟包的測試數據。
融云SDK接口自動(dòng)化測試探索
所謂SDK接口自動(dòng)化測試，就是要驗證SDK 接口字段校驗覆蓋率、SDK 接口復雜調用的可測試性以及系統版本及設備碎片化覆蓋率。目前，普遍使用的SDK接口測試方案有三種：SDK單元測試、UI自動(dòng)化方法和注冊廣播方法。
圖5：SDK接口測試方案
在實(shí)踐中，融云認為SDK自動(dòng)化測試工具應具備以下能力：
第一，大部分 SDK 接口做到脫離 UI 可以快速迭代；
第二，可以對 SDK 接口字段進(jìn)行自由組合邏輯校驗；
第三，可以范圍性的開(kāi)展 SDK 打包集成測試。
基于此，融云對SDK自動(dòng)化測試工具進(jìn)行了兩次探索與迭代，第一版采用的是終端設備微服務(wù)模式，SDK 接口綁定 URL 地址；第二版則通過(guò) URL 動(dòng)態(tài)反射接口，實(shí)現了參數動(dòng)態(tài)反射序列化。
最后，陳沛杰強調：自動(dòng)化測試要盡可能在短的測試周期內達到更高的覆蓋率，并且自動(dòng)化測試盡量不以流程為中心，應適應場(chǎng)景快速變化的需要。
圖 6：開(kāi)發(fā)者聆聽(tīng)演講
結語(yǔ)
通過(guò)測試和優(yōu)化，目前，融云音頻最大抗丟包可達80%，視頻最大抗丟包40%;語(yǔ)音延遲小于120 ms，視頻延遲小于 200 ms，語(yǔ)音直播延遲小于350 ms，視頻直播延遲小于350 ms，可保障端到端之間延遲無(wú)感知的實(shí)時(shí)互動(dòng)。從陳沛杰的分享中也能夠看出，融云之所以擁有卓越的音視頻能力，源于融云對于各項技術(shù)的嚴苛要求和不懈探索。過(guò)硬的指標，過(guò)硬的質(zhì)量，永遠是融云追求的方向。
