9月21日,PICO展示近期遭泄露的新手柄,并對外發布了其自研的Centaur多模態融合追蹤算法。

如前期諜照所示,PICO新手柄去掉了外圍燈環的設計,并且沒有額外增加傳感器。據PICO官方透露,相比上一代手柄,新手柄重量減輕了約15g,高度減小了50%,并且還優化了內部電池和馬達的位置,使其重心更靠近手心,握持手感更好,且兼具細膩振感。

通常,去掉包含LED燈的追蹤燈環,勢必會降低手柄的追蹤精度和穩定性。而PICO全新自研的Centaur多模態融合算法,融合了光學追蹤算法和CV模態手柄追蹤算法,讓手柄在LED燈減少或處于盲區的背景下,也能實時、有效追蹤。

自研Centaur多模態融合追蹤算法

VR設備的輕量化和小型化,一直是XR行業探索和努力的方向。

基于當前行業主流的“光學追蹤+慣性導航系統”追蹤方案,開發無燈環手柄會面臨兩大技術難點:首先,減少LED燈的數量,會影響光學追蹤的穩定性;其次,更少的LED觀測數量,會增大手柄初始化與追蹤解算難度。但如果在手柄上增加新的傳感器,這又會提升造價成本,并增加手柄的耗電速率。

 *PICO 4系列手柄與PICO 全新研發的無燈環手柄

PICO全新自研的Centaur多模態融合追蹤算法,將光學追蹤算法和CV模態手柄追蹤算法進行了有效融合。這不僅解決了無燈環手柄「識別難」的問題,也為XR行業的追蹤交互提供了新的思路。頭顯既能通過光學追蹤算法識別手柄上LED燈發出的紅外光,還能夠在LED燈被手部遮擋時,通過CV模態追蹤算法識別裸手的特征,從而準確還原出手柄控制器的6DoF信息。兩大算法結合手柄本身具備的慣性導航系統,使得新手柄無需增加新的傳感器,也能實現穩定、精準的追蹤。

創新技術研發思路

為了率先實現Centaur多模態追蹤算法的產品化,PICO組建了跨部門的攻關小組,包括手柄追蹤算法團隊、裸手追蹤算法團隊和交互數據團隊。經過多次論證后,最終實現了一套基于神經網絡的多模態手柄追蹤框架,其融合了慣性測量單元(IMU)、光學傳感器和手部圖像信息。

 * PICO Centaur多模態融合算法 模型

在框架設計中,手柄追蹤算法團隊負責提升光學追蹤的穩定性,并搭建算法框架;裸手追蹤算法團隊設計了SOTA端到端的6DoF位姿估計模型,提升手部追蹤的穩定性;而交互數據團隊則通過自研多源三維數據采集設備與高精重建算法,提供大量標注數據。

這樣的追蹤系統,不僅能基于紅外 LED 實現高精度追蹤,還能夠利用裸手檢測“隔山打牛”。為了驗證效果,PICO還聯合極客玩家進行了極限測試,在音游、游動健身等對追蹤精度要求極高的場景下,該算法的追蹤效果都可媲美PICO 4的HyperSense振感手柄。

搭建全方位自研體系

PICO Centuar多模態追蹤算法的推出,得益于PICO在兩大核心算法上的技術積累。PICO Neo3和PICO 4兩代產品的打磨,幫助PICO 在光學追蹤領域積累了扎實的技術。與此同時,PICO 在裸手追蹤上也持續探索,相關技術已位列全球第一梯隊。PICO通過不斷優化端到端的時序模型、千萬級高精訓練集以及MTP延遲測試方案,在算法延遲與追蹤丟失率方面實現技術突破,在游戲、運動等快速甩動手柄的場景下,給用戶帶來流暢且穩定的體驗。

而這些技術創新背后,是PICO獨立自研的高精度數據平臺,以及專業的測試平臺。

比如為了生產更符合開發需求的高精度裸手姿態數據,PICO一方面采用了業內領先的基于相機陣列的自研多視角手部姿態標注技術,另一方面針對該特定任務進行預重建,進一步提升手部姿態數據的精度。這無疑為算法的訓練,提供了強大的支撐和助力。

 *PICO多模態同步相機系統 采集高精度數據

近期,PICO交互數據實驗室團隊的研究發現,被國際頂級會議ICCV 2023成功收錄,包含了一篇Oral論文和三篇會議論文。這些涉及高效數據獲取、高精度數據標注、數據應用等方面的實踐研究,也代表了國際計算機視覺領域的最新成果。

 *PICO交互數據實驗室的研究成果,被國際頂級會議ICCV 2023收錄

作為全球領先的XR品牌,PICO 憑借前瞻性的技術意識和充分的技術積累,創新研發了多模態的融合追蹤算法,為行業AI交互提供了全新思路,也進一步助推了手柄的輕量化,為用戶提供更符合人體工學,且兼具細膩振感的交互體驗。