以下為演講精華摘錄：
首先，龔宇華簡要分析了 AR 與 VR 的差別是什么，“VR 是將人置身于一個完全虛擬的場景中，它發(fā)展到極致就會像《黑客帝國》一樣，你所看到的一切都是虛擬的；AR 則是在現(xiàn)實場景中增加虛擬元素，讓兩者結(jié)合，就像《鋼鐵俠》電影中的頭盔一樣，在可以查看周圍環(huán)境的同時，顯示虛擬元素”。不只是在電影中，現(xiàn)實中也有很多AR的應用案例，比如曾火爆一時的游戲 Pocketmon go。
ARKit 如何實現(xiàn) AR 場景？
在演講中，龔宇華為大家演示了如何實現(xiàn)一個 AR 視頻會議場景，實現(xiàn)效果會與我們在電影《王牌特工》中所看到的場景類似，特工戴上眼鏡之后，世界另一端的特工的虛擬形象就與他坐在同一張桌旁。
“就像我們說把大象放進冰箱里三步驟，我們要打開冰箱，把大象放進去，關(guān)上冰箱。那我們實現(xiàn) AR 的虛擬會議室也是分三步驟，就是實現(xiàn) AR、實現(xiàn)視頻會議，然后把它兩個結(jié)合起來。”龔宇華表示。
目前，蘋果和 Google 分別推出了 ARKit 和 ARCore，為我們在移動端實現(xiàn) AR 場景降低了門檻。實現(xiàn)AR的原理是怎樣的呢？我們以 ARKit為例，來看下它是如何工作的。如剛剛所說，AR 就是在實際環(huán)境中植入虛擬元素，那么首先要識別出周圍環(huán)境，也就是通過 iPhone 的攝像頭來實現(xiàn)。在手機加速計、陀螺儀的幫助下，ARKit 可以識別3D 的環(huán)境并判斷手機在環(huán)境中的姿態(tài)。
通過以上實現(xiàn)過程，我們很容易理解 ARKit 的限制，比如：
- 光線差：沒有足夠的光或光線過強的鏡面反光。嘗試避免這些光線差的環(huán)境。
- 缺少紋理：如果攝像頭指向一面白墻，那也沒法獲得特征，ARKit 也去無法找到并追蹤用戶。嘗試避免看向純色、反光表面等地方。
- 快速移動：通常情況下檢測和估算 3D 姿態(tài)只會借助圖片，如果攝像頭移動太快圖片就會糊，從而導致追蹤失敗。但 ARKit 會利用視覺慣性里程計，綜合圖片信息和設備運動傳感器來估計用戶轉(zhuǎn)向的位置。因此 ARKit 在追蹤方面非常強大。
在完成環(huán)境識別之后，還需要渲染，通常我們會想到使用 OpenGL 或 Metal 渲染，但是它們的開發(fā)成本比較高，所以蘋果想了一辦法，就是通過 SceneKit 進行渲染。
我們可以通過以下幾行代碼實現(xiàn) AR，也就是“將大象關(guān)進冰箱”的第一步。
- @IBOutlet weak var sceneView: ARSCNView!
- override func viewDidAppear（_ animated: Bool） {
- super.viewDidAppear（animated）
- guard ARWorldTrackingConfiguration.isSupported else {
- return
- }
- let configuration = ARWorldTrackingConfiguration（）
- configuration.planeDetection = .horizontal
- sceneView.session.run（configuration）
- }
實現(xiàn)視頻通話功能
我們可以通過聲網(wǎng)Agora SDK 來快速實現(xiàn)視頻通話。在這樣的視頻通話場景中，聲網(wǎng)Agora SDK 具備幾個優(yōu)勢：
- 低延時：聲網(wǎng)SDK 實時通訊網(wǎng)絡，可實現(xiàn)全球百毫秒級音視頻通話；
- 快速集成：開發(fā)者最快可在30分鐘內(nèi)完成集成；
- 全球化部署：支持全球200多個國家與地區(qū)。
在下載最新版聲網(wǎng)Agora SDK 后，將其添加到我們的 AR Demo 中。通過以下代碼，可以基于 Agora 實現(xiàn)視頻會議。
1// 初始化引擎
2let agoraKit = AgoraRtcEngineKit.sharedEngine（withAppId: myAppId,
3 delegate: self）
4// 設置為發(fā)送端
5agoraKit.setChannelProfile（.liveBroadcasting）
6agoraKit.setClientRole（.broadcaster）
7agoraKit.enableVideo（）
8// 加入會議
9agoraKit.joinChannel（byToken: nil,
10 channelId: “QCon2018”，
11 info: nil,
12 uid: 0,
13 joinSuccess: nil）
將視頻通話融入AR場景
在完成視頻會議的搭建之后，我們還需要傳輸本地視頻與音頻。
1let videoSource = ARVideoSource（）
2agoraKit.setVideoSource（videoSource）
1func session（_ session: ARSession, didUpdate frame: ARFrame） {
2 videoSource.sendBuffer（frame.capturedImage, timestamp: frame.timestamp）
3}
1agoraKit.enableExternalAudioSource（withSampleRate: 44100, channelsPerFrame: 1）
1func session（_ session: ARSession, didOutputAudioSampleBuffer audioSampleBuffer: CMSampleBuffer） {
2 agoraKit.pushExternalAudioFrameSampleBuffer（audioSampleBuffer）
3}
最后，當我們通過SDK獲得了其它用戶發(fā)來的音視頻數(shù)據(jù)后，我們還需要將其渲染到AR環(huán)境中，實現(xiàn)方式如下。
1class ARVideoRenderer : NSObject, AgoraVideoSinkProtocol {
2 var renderNode: SCNNode!
3 func bufferType（） -> AgoraVideoBufferType { return .rawData }
4 func pixelFormat（） -> AgoraVideoPixelFormat { return .I420 }
5 func renderRawData（_ rawData: UnsafeMutableRawPointer,
6 size: CGSize,
7 rotation: AgoraVideoRotation） {
8 let rgbTexture = createTexture（widthYUV: rawData, size: size, rotation: rotation）
9 renderNode.geometry?.firstMaterial?.diffuse.contents = rgbTexture
10 }
11 func shouldInitialize（） -> Bool { return setupMetal（） }
12 func shouldStart（） { }
13 func shouldStop（） { }
14 func shouldDispose（） { }
15}
我們曾在之前《基于ARKit與Agora SDK實現(xiàn)AR視頻會議》文章中分享了詳細的實現(xiàn)步驟，大家也可以訪問「閱讀原文」查看源碼。
聲網(wǎng)Agora 有獎征文活動 正在進行中，只要在5月25日前分享你與聲網(wǎng)Agora SDK 相關(guān)的開發(fā)經(jīng)驗，即有機會獲得機械鍵盤、T恤等聲網(wǎng)定制獎品。報名與活動咨詢，關(guān)注微信公眾號后臺留言。點擊圖片了解更多活動詳情。
