3ヶ月前

DiffMesh:動画からの人間メッシュ回復を目的とした運動認識型拡散フレームワーク

Ce Zheng, Xianpeng Liu, Qucheng Peng, Tianfu Wu, Pu Wang, Chen Chen
DiffMesh:動画からの人間メッシュ回復を目的とした運動認識型拡散フレームワーク
要約

人間メッシュ回復(HMR)は、さまざまな実世界応用において豊かな人体情報を提供する。画像ベースのHMR手法は、著しい成果を達成している一方で、動的なシナリオにおいては、人体の運動情報が欠如しているため、時間的に一貫性のない結果や滑らかでない3D運動予測を引き起こすことが多く、課題となっている。これに対し、動画ベースのアプローチは時間情報を活用することで、この問題を緩和できる。本論文では、動画ベースHMRを対象とした、革新的な運動認識型拡散モデル(Diffusion-like)フレームワークであるDiffMeshを提案する。DiffMeshは、拡散モデルと人間の運動の間に橋渡しをすることで、前向きプロセスおよび逆向きプロセスの両方において人間の運動情報を統合し、正確かつ滑らかなメッシュシーケンスの効率的生成を実現する。広範な実験を、広く用いられているデータセット(Human3.6M \cite{h36m_pami} および 3DPW \cite{pw3d2018})上で実施した結果、DiffMeshの有効性と効率性が確認された。実環境における視覚的比較により、DiffMeshが実用応用に適していることがさらに示された。