Apple Vision Pro 的無(wú)手柄設計引發(fā)了大量討論,它挑戰了我們對 XR 用戶(hù)體驗的傳統認知,提供了一種全新的、更為直觀(guān)的交互方式。然而,盡管這種去手柄化的趨勢在某些場(chǎng)景下可能有其獨特的優(yōu)勢,但手柄在 XR 頭顯的交互方式中的重要性仍然不容忽視。
手柄作為一種成熟且被廣泛接受的交互工具,在需要精確輸入或復雜操作的情況下,例如一些游戲或繪畫(huà)、手術(shù)模擬等專(zhuān)業(yè)訓練中,通常可以提供更好的體驗。此外,手柄能夠為用戶(hù)提供觸覺(jué)反饋,這是目前無(wú)手柄方案難以實(shí)現的,而觸覺(jué)對于創(chuàng )建沉浸式體驗又至關(guān)重要。
不過(guò),傳統的手柄往往體積較大,重量較重,長(cháng)時(shí)間使用可能會(huì )引起用戶(hù)的疲勞。因此,許多 XR 廠(chǎng)商一直致力于研發(fā)更輕、更小巧的手柄設備,以提升用戶(hù)體驗。
但是,輕量化手柄的研發(fā)面臨多個(gè)難點(diǎn),其中一項主要的挑戰便是高精度追蹤的問(wèn)題:首先,小型化設備限制了傳感器的大小和數量;其次,由于手柄小,用戶(hù)可能會(huì )更頻繁地做出快速和復雜的手勢,這也對追蹤系統的穩定性和準確性提出了更高的要求;設備的小型化還可能會(huì )限制攝像頭的視場(chǎng)角,使得手柄在一些極端姿態(tài)下無(wú)法被有效追蹤。此外,高精度的追蹤通常需要進(jìn)行更多的計算,因此功耗管理也是小型化手柄研發(fā)中的一個(gè)重要挑戰。
融合光學(xué)追蹤與裸手識別算法,實(shí)現遮擋情況下穩定追蹤
基于 AI 方面的積累,PICO 創(chuàng )新性地提出了一種多模態(tài)的手柄追蹤解決方案,成功在小型化手柄上實(shí)現了穩定的高精度追蹤。
「我們在人手握姿的實(shí)時(shí)估計方法、多模態(tài)下的數據融合方法,以及基于 IMU(Inertial Measurement Unit,慣性測量單元)的高精度預測方法等方面,取得了一些突破創(chuàng )新,」PICO 研發(fā)團隊表示:「提出了一種多模態(tài)的手持控制器追蹤方法,能夠提供更廣的追蹤范圍,減小追蹤盲區,為用戶(hù)帶來(lái)更好的體驗。」
PICO 此次自研的 Centaur多模態(tài)追蹤算法,將光學(xué)追蹤算法與 CV 模態(tài)下的手柄追蹤算法融合,其中光學(xué)追蹤算法通過(guò)識別手柄中 LED 燈發(fā)射出的紅外光(IR),實(shí)現對手柄的定位追蹤;CV 模態(tài)手柄追蹤算法,能夠在手柄上的 LED 燈被遮擋時(shí),也即在極少 IR 或沒(méi)有 IR 的情況下,通過(guò)追蹤裸手的特征,準確還原出手柄控制器的 6DoF 信息,從而保持對手柄的穩定追蹤。
【圖說(shuō)】 Centaur 多模態(tài)融合算法,將視覺(jué)信息與慣性信息融合,得到手柄位姿及速度的最優(yōu)估計。具體說(shuō),多模態(tài)追蹤算法使用從頭顯攝像頭、內置IMU模塊、3-DOF模塊、深度學(xué)習手勢檢測及追蹤模塊、光學(xué)定位模塊采集到的多種模態(tài)數據,分析手部特征、手柄運動(dòng)信息、LED位置,以及全局上下文信息,進(jìn)行精準的位姿預測和估計。最后,通過(guò)多幀融合濾波器對所有獲取的信息進(jìn)行融合計算,產(chǎn)生高精度、高幀率的手柄位置、旋轉及速度信息,供上層應用使用。
光學(xué)追蹤算法在 XR 產(chǎn)品中有著(zhù)廣泛的應用,主要用于實(shí)現精準、低延遲的位置和運動(dòng)追蹤。這些算法通常利用攝像頭(或其他光學(xué)傳感器)捕獲的圖像數據,通過(guò)識別和追蹤特定的視覺(jué)特征,如顏色、紋理、形狀等,來(lái)計算物體(如用戶(hù)的頭部、手部或控制器)的位置和運動(dòng)。
PICO采用的是基于紅外光(IR)的主動(dòng)式光學(xué)定位追蹤方案,這種技術(shù)可以通過(guò)頭顯攝像頭,觀(guān)測到手柄上發(fā)射的 IR,并通過(guò)光斑檢測和多視圖幾何原理來(lái)計算手柄的位置和姿態(tài)。與傳統的電磁定位和超聲波定位相比,具有高精度、低成本、低功耗等優(yōu)點(diǎn)。
針對小型化手柄的一系列工程和技術(shù)挑戰,PICO 組建了一個(gè)跨部門(mén)的攻關(guān)小組,包括交互感知內部的數據交互團隊、裸手追蹤算法團隊和手柄追蹤算法團隊。
經(jīng)過(guò)多次論證后,團隊設計了一套基于神經(jīng)網(wǎng)絡(luò )(AI 模型追蹤技術(shù)結構)的多模態(tài)手柄追蹤框架,其核心技術(shù)即上文提到的 Centaur多模態(tài)追蹤算法,該框架融合了 IMU、光學(xué)傳感器和手部圖像這幾種不同模態(tài)的信息,在手柄被遮擋的情況下,裸手追蹤能夠提供更加精準的觀(guān)測,同時(shí)手柄給手部追蹤提供更準確的預測,兩者深度融合,相互輔助。
【圖說(shuō)】 Centaur多模態(tài)追蹤算法,融合了 IMU、光學(xué)傳感器和手部圖像等不同模態(tài)的信息,在手柄被遮擋的情況下,裸手追蹤可以補充提供精準的觀(guān)測。
裸手追蹤(hand-tracking),也叫手部追蹤或手勢追蹤,通過(guò)直接捕獲和分析用戶(hù)的手部姿態(tài)、位置和運動(dòng),使用戶(hù)可以在 XR 環(huán)境中直接用手勢進(jìn)行交互,無(wú)需穿戴特殊設備(如手套或指環(huán)),也免去了學(xué)習復雜的控制器操作過(guò)程,大幅降低了使用門(mén)檻,因而在 XR 領(lǐng)域備受關(guān)注。
不過(guò),盡管裸手追蹤能夠提供更加流暢、自然的交互體驗,但也面臨諸多挑戰。例如,裸手追蹤需要高精度和低延遲,以便能夠實(shí)時(shí)準確地捕捉用戶(hù)的動(dòng)作。此外,光照條件、背景干擾、用戶(hù)的手部形狀和顏色差異等因素,也可能影響裸手追蹤的表現。
「CV 模態(tài)手柄追蹤場(chǎng)景下,由于手柄的遮擋,導致裸手視覺(jué)特征不明顯,常常引發(fā)追蹤失效。」PICO 裸手算法團隊成員表示:「針對該難點(diǎn)問(wèn)題,我們創(chuàng )新性地融合了 Down-Top 的端到端 6DoF 追蹤算法,通過(guò)有效利用多目時(shí)序的全局上下文信息,比如身體的骨骼信息以及結合時(shí)間順序判斷,一次性準確且穩定地預測手部位姿,能夠在手柄追蹤失效時(shí),及時(shí)提供魯棒的位姿。」
【圖說(shuō)】在計算機視覺(jué)和深度學(xué)習領(lǐng)域,Top-Down 和 Down-Top 是對象檢測和識別的兩種常見(jiàn)策略。Top-Down 通常從全局或更大尺度的視角開(kāi)始,逐漸向更精細的細節進(jìn)行;Down-Top 則從小尺度的細節開(kāi)始,逐漸構建出全局的視圖。PICO 團隊采用 Down-Top 方案,能夠在精度相近的情況下,提高手柄的檢出率,從原先的 36% 提升到了93%。從上圖中看,右側 Down-Top 圖中連貫的綠線(xiàn)即表示系統有在持續并且穩定地追蹤。
裸手追蹤算法團隊設計的這個(gè)端到端 6DoF 追蹤算法,融合了 PICO 研發(fā)團隊在過(guò)去一年多的時(shí)間里取得的多項技術(shù)突破:
• 手部多視角協(xié)同自監督學(xué)習方法 HaMuCo:利用多視角的信息,通過(guò)自監督學(xué)習和一致性損失函數,能夠在沒(méi)有大規模 3D 標注數據集的情況下,獲得優(yōu)秀的手部姿態(tài)預測結果。這項工作也獲得了 ECCV HANDS22 Challenge 第一名。
• 手部姿態(tài)預測和圖像對齊框架 DIR:DIR 是「解耦合迭代修正框架」(Decoupled Iterative Refinement)的縮寫(xiě),該框架解決了二維視覺(jué)特征空間和三維節點(diǎn)特征空間的耦合問(wèn)題,DIR 在二維視覺(jué)特征空間中處理圖像信息,在三維節點(diǎn)特征空間中處理手部姿態(tài)信息。DIR 使用節點(diǎn)特征作為二維和三維空間之間的「橋梁」,使得這兩個(gè)空間可以相互溝通,從而實(shí)現特征增強和姿態(tài)修正。在最具挑戰性的雙手數據集上取得了 SOTA 精度,在處理復雜數據集和泛化到新情況方面也表現出色。該工作入選 ICCV2023 Oral 論文,足以證明其質(zhì)量。
【圖說(shuō)】圖片來(lái)自 DIR 論文:https://arxiv.org/abs/2302.02410
• 從單視圖中重建雙手姿態(tài)的新方案:由于單視角固有的歧義性以及雙手具有相似的外觀(guān)、自遮擋嚴重等問(wèn)題,從單視圖中重建雙手是一項巨大的挑戰,團隊轉變思路,首先構建了一個(gè)雙手互動(dòng)的先驗,然后將互動(dòng)重建任務(wù)定義為從這個(gè)先驗中進(jìn)行條件采樣的任務(wù)。具體說(shuō),團隊通過(guò)運動(dòng)捕捉(MoCap)系統構建了一個(gè)大規模的雙手交互數據集,然后利用這些數據建立了一個(gè)基于 VAE 的雙手交互先驗網(wǎng)絡(luò ),再利用 ViT 從單視角圖像中提取特征,并充分融合雙手交互先驗的相關(guān)性,從而獲得了雙手重建的 SOTA 結果。
• XR 場(chǎng)景全身姿態(tài)估計技術(shù):提出了一個(gè)能夠建模全身關(guān)節點(diǎn)相關(guān)性的兩階段框架,基于 XR 場(chǎng)景下能夠獲取的有限的跟蹤信息(包括關(guān)節點(diǎn)位置特征、關(guān)節點(diǎn)旋轉特征以及輸入特征),回歸出準確、平滑和合理的全身姿態(tài)序列。模型在虛擬數據集(AMASS)和實(shí)采數據集上的實(shí)驗中,展現出了優(yōu)于現有方法的準確率、平滑性和物理合理性,極大地提高了用戶(hù)的沉浸式體驗。
「這是團隊協(xié)作的成果,」PICO 攻關(guān)小組負責人表示:「數據交互團隊基于高精度動(dòng)作捕捉系統完成了數據采集和標注;裸手追蹤算法團隊設計了 SOTA 的端到端 6DoF 位姿估計模型,提升了手部追蹤的穩定性;手柄追蹤算法團隊則提升了光學(xué)追蹤的穩定性和整個(gè)算法框架的實(shí)現,多模態(tài)的手柄追蹤算法在手柄被遮擋情況下仍然能保持穩定追蹤。」
「光學(xué)追蹤和裸手追蹤這兩大類(lèi)算法,從追蹤框架上不是獨特唯一,也不是我們最先研究的,但是將它們融合起來(lái)并產(chǎn)品化,截至目前我們是第一家。」
從研究到產(chǎn)品:新一代無(wú)燈環(huán)小手柄
PICO 最新推出的小手柄,采用無(wú)燈環(huán)設計,配合頭顯進(jìn)行雙手空間定位捕捉,通過(guò)頭顯的 inside-out 光學(xué)追蹤定位原理,計算出手柄的空間運動(dòng)軌跡,并結合 6 軸傳感器完成無(wú)線(xiàn)控制器的 6DoF 捕捉,進(jìn)而結合控制器的物理按鍵、馬達反饋、搖桿等反映到虛擬現實(shí)世界中,用于增強虛擬現實(shí)人機交互的能力,提升沉浸感。
【圖說(shuō)】PICO 最新一代無(wú)燈環(huán)小手柄。新手柄 LED 燈減少且均在手柄內,更容易被手部遮擋,因此對手柄追蹤的魯棒性帶來(lái)重大挑戰。
相比上一代手柄,無(wú)燈環(huán)小手柄更加輕巧便攜,重心偏手心位置(電池和馬達更集中),握持手感更好;雙手柄的相互干涉概率更小,整體交互會(huì )更自然。重量相比上一代手柄輕約15g,高度減少50%。
追蹤效果方面,采用自研 Centaur 多模態(tài)追蹤算法方案,有效解決了雙手遮擋情況下的手柄追蹤精度問(wèn)題,毫米級追蹤精度,延遲<5ms。
能耗方面,根據 PICO 內部測試的結果,在每天運動(dòng) 1 小時(shí)的情況下,可以持續工作超過(guò) 80 天。
實(shí)際上,在 PICO 4 早期的研發(fā)階段,團隊就有過(guò)制作無(wú)燈環(huán)小型手柄的想法。2022 年 6 月,小手柄研發(fā)項目正式啟動(dòng)后,團隊探索過(guò)多種追蹤方案,包括自追蹤和其他傳感器的追蹤方案,考慮到精度及成本等因素,最終決定以光學(xué)追蹤為基礎,結合裸手追蹤的最新技術(shù),探索出了一條多模態(tài)的追蹤方案。
「以高精度光學(xué)位姿解算和裸手追蹤為基礎,實(shí)時(shí)估算手柄和手掌的相對位置關(guān)系。在光學(xué)解算失效的情況下,使用裸手檢測的結果還原出手柄控制器的 6DoF 信息。」PICO 裸手追蹤算法團隊成員表示。
「這樣我們的手柄控制器追蹤系統不僅能夠使用紅外 LED 做到高精度的追蹤,也能夠利用裸手檢測“隔山打牛”,最終實(shí)現了抓握圓盤(pán)的握持方式下依然穩定的追蹤效果,通過(guò)了極客玩家的挑剔測試。」
【圖說(shuō)】小手柄會(huì )面臨更多低 LED 觀(guān)測數量下的初始化與追蹤問(wèn)題,從數學(xué)上解算難度更大。上圖為僅有 3 顆 LED 燈時(shí)手柄靜止狀態(tài)下的追蹤效果,可以看出,多幀緊耦合比單幀松耦合的結果更加精確,追蹤更加穩定,波動(dòng)顯著(zhù)減小。
手柄交互+裸手交互,雙線(xiàn)布局應對未來(lái)
光學(xué)追蹤和裸手追蹤兩大類(lèi)算法,經(jīng)歷了 PICO Neo3 和 PICO 4 兩代產(chǎn)品的打磨,對用戶(hù)需求更了解,技術(shù)廣度和深度有足夠的積累。
作為最早將光學(xué)追蹤產(chǎn)品化的 XR 企業(yè)之一,PICO 的光學(xué)追蹤系統在許多技術(shù)點(diǎn)上表現出優(yōu)勢,精度和性能等指標目前處于全球第一梯隊。PICO 的裸手追蹤技術(shù)則在這兩年間快速積累,已經(jīng)可以實(shí)現相當精確和穩定的手部和指尖追蹤。
「在高難度的快速運動(dòng)場(chǎng)景下,我們通過(guò)不斷優(yōu)化端到端的時(shí)序模型、千萬(wàn)級高精訓練集,以及 MTP(Motion to Photon,動(dòng)顯延遲)測試方案,目前算法延遲與追蹤丟失率在全球范圍能做到技術(shù)領(lǐng)先,給用戶(hù)在游戲與運動(dòng)場(chǎng)景帶來(lái)了流暢且穩定的體驗。」
如今,數據驅動(dòng)的 AI 正以前所未有的方式塑造著(zhù)未來(lái),尤其在 XR 領(lǐng)域,由于硬件和算法持續快速迭代,數據的效率、質(zhì)量和可擴展性對于開(kāi)發(fā)交互式 AI 算法至關(guān)重要。
PICO 擁有行業(yè)領(lǐng)先的全方位自研軟硬件基建,覆蓋數據生產(chǎn)平臺(含相機陣列與仿真系統)和測試平臺等,特別關(guān)注高效數據獲取、高精度數據標注和數據應用相關(guān)的工作,也為技術(shù)和產(chǎn)品的研發(fā)奠定了堅實(shí)的基礎。
「為了生產(chǎn)高精數據,我們在小手柄裸手姿態(tài)數據的高精標注任務(wù)中,一方面采用了自研的業(yè)內領(lǐng)先的基于相機陣列的多視角手部姿態(tài)標注技術(shù)方案;另一方面針對該特定任務(wù)進(jìn)行了預重建,進(jìn)一步提升了手部姿態(tài)數據的精度。」PICO 數據交互團隊表示。
【圖說(shuō)】PICO高精度數據采集與自動(dòng)標注流程
(多視角采集方案示意圖)
【圖說(shuō)】AI合成方案,通過(guò)仿真手部模型擴大數據采集樣本
「我們在數據生產(chǎn)上也提供了多套技術(shù)方案,如相機陣列的真實(shí)采集與仿真合成平臺方案,多種方案結合,有力保障 AI 訓練數據的支撐。」
結語(yǔ)
當前,XR 領(lǐng)域技術(shù)快速更迭,PICO 在光學(xué)追蹤和裸手追蹤兩條技術(shù)路線(xiàn)上雙線(xiàn)布局,表明了其在對技術(shù)發(fā)展趨勢的洞察上具有一定的前瞻性。
「裸手+手柄」的融合式交互方案,結合了裸手追蹤的直觀(guān)性和手柄輸入的精確性,既可以提供自然、直觀(guān)的體驗,又可以實(shí)現精確、細致的操作,在游戲、教育、醫療、設計等領(lǐng)域,很多 XR 應用中都是一個(gè)非常有吸引力的選項,有望成為未來(lái) 2~3 年行業(yè)的主流交互趨勢。
作為國內最早參與 XR 領(lǐng)域的企業(yè)之一,PICO 憑借前瞻性的技術(shù)意識和充分的技術(shù)積累,確立了其在行業(yè)中的領(lǐng)先地位。此次自研 Centaur 多模態(tài)追蹤算法,申請專(zhuān)利并成功產(chǎn)品化,再加上全方位自研的軟硬件基礎設施,這些都是技術(shù)優(yōu)勢的體現,也是 PICO 能持續領(lǐng)跑行業(yè)的關(guān)鍵。
在科技產(chǎn)業(yè),尋找創(chuàng )新與保持一致性之間的平衡是挑戰也是藝術(shù)。一方面,創(chuàng )新性和差異性是推動(dòng)行業(yè)向前發(fā)展的引擎,為用戶(hù)帶來(lái)更高效、更具吸引力的體驗。另一方面,一致性對于確保平穩過(guò)渡和降低過(guò)渡成本具有至關(guān)重要的作用。PICO 的融合式交互方案巧妙地展現出了這樣的一致與創(chuàng )新。正如混合動(dòng)力汽車(chē)為消費者和制造商提供了平滑過(guò)渡到全電動(dòng)汽車(chē)的途徑。同樣,手柄+裸手的融合式交互技術(shù)也提供了一條路徑,使得 XR 行業(yè)可以更加平順地邁向下一階段。人機交互的設計應當始終以用戶(hù)為中心,包括那些有特殊需求或身體限制的人。讓我們期待 PICO 的這份執著(zhù)和專(zhuān)注,繼續為玩家帶來(lái)更多超越想象的驚喜。
參考資料
• 高效數據獲取 HaMuCo: Hand Pose Estimation via Multiview Collaborative Self-Supervised Learning,https://arxiv.org/abs/2302.00988
• 高精度數據標注 Decoupled Iterative Refinement Framework for Interacting Hands Reconstruction from a Single RGB Image,Reconstructing Interacting Hands with Interaction Prior from Monocular Images, https://arxiv.org/abs/2 302.02410
• 單視圖中重建雙手Reconstructing Interacting Hands with Interaction Prior from Monocular Images,https://arxiv.org/abs/2308.14082
• 數據應用 Realistic Full-Body Tracking from Sparse Observations via Joint-Level Modeling,https://arxiv.org/abs/2308.08855
