近日，計算機視覺與模式識別會議（CVPR 2023）公布了論文的錄取結果，網易互娛AI Lab一篇題為Learning Analytical Posterior Probability for Human Mesh Recovery的論文被該會議接收。該論文重點研究一種基于后驗概率分布的人體動捕新方法，能大幅提升視頻動捕的精度、穩定性和通用性，讓動作動畫資源制作不再強依賴高昂的動捕設備，僅需一臺手機即可獲得高質量的動作數據。
CVPR作為國際計算機視覺領域備受矚目的頂級學術盛會之一，每年所吸引的投稿數量在不斷增加，競爭也不斷加劇。本屆CVPR共收到9155篇論文投稿，相比去年增加了近1000篇，僅錄用2360篇，錄用率25.78%，足以說明其難度之高。而網易互娛AI Lab基于解析后驗概率的人體動捕技術——ProPose能夠成功入選，不僅是對其團隊研究實力和創新能力的認可和肯定，更是其在人體動捕領域所取得的卓越成果的有力佐證。
在本篇論文中，網易互娛AI Lab提出了一種名為ProPose的人體動捕新方法，創新性地使用了后驗概率分布的方式來推測人體關鍵點和關節旋轉的情況，能夠在單張RGB圖像、多視角視頻、或融合其他動捕設備等情況下實現更準確的三維人體姿態估計，從而獲得更精準的人體動捕數據。在視頻處理方面，Propose相比業界目前被廣泛采用的SPIN方法，將誤差降低了25%左右，并且在3DPW、Human3.6M和AGORA等公開的動捕測試榜單上也力壓目前所有其他方案，精度表現亮眼。除視頻動捕外，Propose所采用的概率框架還可無縫融合多視角視頻和其他動捕設備，如慣性傳感器等，且無需因為引入新設備而修改模型的主體部分，具備更好的通用性，可滿足更多不同應用場景需求。
圖說：Propose可更好地衡量關節旋轉的不確定性，如圖中右手沿手臂軸的旋轉、左手臂上下擺動的朝向、左小腿的遠近程度等
基于該技術方案，網易互娛AI Lab已推出了可落地使用的視頻動捕工具AIxPose。僅需提供普通手機攝像頭拍攝的視頻，該軟件可在短短幾分鐘內自動提取人體的動作數據，并已應用于游戲動畫資源、營銷舞蹈視頻的制作流程，處理視頻時長達到數十個小時，相比美術手K能節省80%左右的制作時間和成本。
《大話西游》聯合小D的舞蹈動畫制作
現今，使用動捕技術來制作游戲、影視資源已不再新鮮。但傳統流程一般采用的是光學或慣性動捕，需要在演員穿戴慣捕設備，或在身上添加標記點、租賃動捕棚，通過一圈紅外相機來捕獲動作數據，成本極高、周期漫長。在AIGC大熱的當下，如何擺脫傳統流程的瓶頸和束縛、提升生產效率，對于競爭日益激烈的游戲或影視行業而言都至關重要。AIxPose視頻動捕工具用更輕量級、高效率、低成本的動捕方式，可以幫助解放美術生產力，讓美術在有限的時間內把精力投入在其他更有價值的工作上，從而打造更精品的內容。
網易互娛AI Lab成立于2017年，一直致力于游戲行業的AI落地場景研究。除AIxPose視頻動捕工具外，實驗室在AIGC領域擁有一系列前言的AI內容生成技術，從基于語音生成面部表情和口型動畫、基于音樂生成舞蹈動畫，到時下大熱的AI繪畫等都有涉及。未來，實驗室將持續致力于讓AI技術服務于商業，創造更多的現實價值。
