這個(gè)終極夢(mèng)想，真的就那么遙不可及嗎？
我們今天就來(lái)聊聊，土豪背后的技術(shù)——XR（VR，AR，MR）技術(shù)，看完后，你就知道，未來(lái)已被拉近。
簡(jiǎn)單科普一下什么是XR，XR 就是VR、AR、MR 的統稱(chēng)。虛擬現實(shí)（Virtual Reality）、增強現實(shí)（Augmented Reality）和混合現實(shí)（Mixed Reality），正在給我們的生活方式帶來(lái)一系列的變化。不遠的未來(lái)，你還可以坐在虛擬的會(huì )議室跟你虛擬的小伙伴們開(kāi)一場(chǎng)云上會(huì )議，在虛擬的智慧教室上一堂多人互動(dòng)課程、做一場(chǎng)模擬實(shí)驗，甚至進(jìn)入虛擬世界進(jìn)行真實(shí)的設計、制造，虛擬和真實(shí)之間，邊界不再那么明顯。這一切，都得益于XR（VR，AR，MR）技術(shù)的應用。
XR技術(shù)，究竟依賴(lài)哪些核心能力呢？華為云最新發(fā)布的XR云服務(wù)，給了我們答案。它提供了五大核心技術(shù)和能力，打開(kāi)未來(lái)新視界。
1、 大規模3D地圖構建能力
3D地圖是數字孿生世界的基礎。傳統制作3D地圖的成本，是非常高昂的。圖商需要采購價(jià)格高昂的測繪車(chē)隊，常年雇傭規模在千人左右的采集團隊，并組織人力對采集來(lái)的數據進(jìn)行標注、補缺。隨著(zhù)AI算法、傳感器的發(fā)展，技術(shù)上已能實(shí)現自動(dòng)化程度更高的制圖流程。
華為云XR提供手機拍攝視頻的眾包建圖方案，只要是通過(guò)手機拍攝慢速轉動(dòng)的視頻，或者有重疊區域的圖片，覆蓋建圖的區域，傳至云端即可通過(guò)算法還原出3D模型。如果將3D模型中的3個(gè)點(diǎn)與數字世界的坐標對齊即可將局部的3D模型補充到數字世界中，大大降低了制圖成本。
華為云同時(shí)支持衛星制圖，具備大面積快速覆蓋能力，配合地圖自動(dòng)生成流水線(xiàn)，大規模構建3D地圖。
2、 厘米級全場(chǎng)景適應的空間計算
- 高精度定位技術(shù)大體上可以分為三類(lèi)：基于信號的定位、基于航跡推算的定位、基于環(huán)境特征匹配的定位。
- 基于信號的定位：普通的多星（GPS、北斗、伽利略）定位精度大約能做到1-2米。新的RTK（Real - time kinematic，實(shí)時(shí)動(dòng)態(tài)）載波相位差分技術(shù)，是能夠在野外實(shí)時(shí)得到厘米級定位精度的測量方法。
- 基于航跡推算的定位：IMU是常用的航跡推算系統，優(yōu)勢在于沒(méi)有外部依賴(lài)，可以提供短時(shí)高精度的定位結果，缺點(diǎn)在于在連續的位置和方向的測量中誤差會(huì )不斷累積，導致位置和姿態(tài)的測量結果偏離實(shí)際位置，因而無(wú)法做長(cháng)時(shí)間的高精度定位。
- 基于環(huán)境特征匹配的定位技術(shù)：華為云XR能力平臺提供根據視覺(jué)的定位技術(shù)，通過(guò)定期上傳照片，在云端進(jìn)行特征點(diǎn)提取、匹配，能夠做到厘米級定位與一度以?xún)榷ㄗ耍?DOF）。針對光照條件差，弱紋理的夜晚和室內場(chǎng)景，通過(guò)AI方式進(jìn)行增強，實(shí)現夜晚也能找到圖像匹配點(diǎn)，室內也能定位的全場(chǎng)景適應的空間定位算法。基于VPS和SLAM的緊耦合算法架構，可逐步實(shí)現長(cháng)時(shí)間的室內外導航。
3、 提升效果同時(shí)提升數倍效率的AI渲染算法
3D渲染管線(xiàn)也稱(chēng)為渲染流水線(xiàn)，可以將其理解為一個(gè)流程，就是我們準備一些數據，讓GPU對這些數據做一些處理，最后得出一張二維圖像，渲染流程主要分為幾個(gè)大的階段：數據準備階段，頂點(diǎn)處理階段，光柵操作階段，像素著(zhù)色階段。當前渲染優(yōu)化有兩個(gè)方向，一個(gè)是渲染畫(huà)質(zhì)好，一個(gè)是游戲實(shí)時(shí)性高。華為通過(guò)對渲染管線(xiàn)中算法的深入研究和調試，并通過(guò)端云結合的AI算法，對渲染管線(xiàn)進(jìn)行拆分，達到畫(huà)質(zhì)和實(shí)時(shí)性的均衡，實(shí)現數倍效率，畫(huà)質(zhì)相對于傳統渲染方式有大幅的提升。
4、十萬(wàn)發(fā)絲級數字人渲染
凱文·凱利：
“不久的將來(lái)，現實(shí)世界中的每一個(gè)地方和事物 —— 每一條街道、每一個(gè)燈柱、每一棟建筑物和每一個(gè)房間 —— 都會(huì )在鏡像世界中擁有它的全尺寸“數字孿生兄弟”。”
華為在數字人的生成、建模、渲染階段均有所涉獵，如全自動(dòng)化90%相似度高精細人體模型生成。傳統的建模通過(guò)離線(xiàn)工具制作，費時(shí)費力，華為考慮改造建模過(guò)程，實(shí)現快速復制、自動(dòng)化生成、快速建模。
渲染過(guò)程的開(kāi)發(fā)，主要是從皮膚、牙齒、眼睛、毛發(fā)等等方面入手。數字人的表情肢體動(dòng)作自然驅動(dòng)和表達，唇音同步延時(shí)<100ms，使用者時(shí)延無(wú)感知 。皮膚是半透的，比較薄的地方有散射的效果，光散射過(guò)來(lái)會(huì )產(chǎn)生折射，加入后會(huì )多一些細節；眼睛是晶狀體，有透射效果；頭發(fā)有很多層，每層有不同效果。華為實(shí)時(shí)高真實(shí)度數字人繪制，實(shí)現逼真的發(fā)絲、皮膚、眼睛渲染呈現，10萬(wàn)級發(fā)絲，fps>30幀，整體主觀(guān)打分8分以上。
5、360度VR視頻TWS FOV技術(shù)（Tile-Wise-Streaming Field of View）
360度VR視頻領(lǐng)域，華為提出了TWS FOV傳輸技術(shù)，可以解決4K硬件解碼能力終端，基于4K碼率觀(guān)看8K片源的問(wèn)題。通過(guò)TWS映射方式，從像素點(diǎn)上就可以相對ERP映射，直降40%碼率。通過(guò)增加低資源消耗的背景流，解決黑邊問(wèn)題，加入單幀切換技術(shù)，提升轉頭高清體驗。
XR技術(shù)的研究和應用，未來(lái)將有無(wú)限可能。虛擬和真實(shí)將相輔相成，實(shí)現真實(shí)世界與虛擬世界之間的無(wú)界溝通和協(xié)作。在不久的將來(lái)，人人都可像鋼鐵俠一樣，通過(guò)XR技術(shù)釋放無(wú)窮的創(chuàng )造力和想象力，突破極限，共筑未來(lái)。
