BioPose: 単眼動画からの生体力学的に正確な3D姿勢推定

最近の単一カメラ画像や動画からの3次元人間姿勢推定における進歩は、SMPLなどのパラメトリックモデルに依存してきました。しかし、これらのモデルは解剖学的な構造を過度に単純化しており、真の関節位置や動きを正確に捉える能力が制限されているため、バイオメカニクス、ヘルスケア、ロボティクスなどの分野での適用性が低下しています。一方で、バイオメカニクス的に正確な姿勢推定には通常、高価なマーカーベースのモーションキャプチャシステムと専門的な実験室での最適化技術が必要です。このギャップを埋めるために、私たちはBioPoseという新しい学習ベースのフレームワークを提案します。BioPoseは3つの主要なコンポーネントから構成されています：Multi-Query Human Mesh Recoveryモデル（MQ-HMR）、Neural Inverse Kinematicsモデル（NeurIK）、および2D情報に基づく姿勢精緻化技術です。MQ-HMRはマルチクエリ変形トランスフォーマーを使用して多尺度の微細画像特徴を抽出し、精密な人間メッシュの復元を可能にします。NeurIKはメッシュ頂点を仮想マーカーとして扱い、空間時間ネットワークを用いて解剖学的制約下でバイオメカニクス的に正確な3次元姿勢を回帰します。さらに3次元姿勢推定の精度を向上させるために、2D情報に基づく精緻化ステップでは推論時にクエリトークンを最適化し、3次元構造を2次元姿勢観測値と合わせます。ベンチマークデータセットでの実験結果から、BioPoseが最先端の手法よりも著しく優れていることが示されました。プロジェクトウェブサイト：\url{https://m-usamasaleem.github.io/publication/BioPose/BioPose.html}