関節アニメーションのためのモーション表現

関節を持つ複数の異なる部分から構成されるオブジェクトのアニメーション化のため、本研究では新たなモーション表現を提案する。本手法は完全に教師なしの枠組みで、オブジェクトの部分を同定し、ドライブ動画内でそれらを追跡し、主軸を考慮してモーションを推定する。従来のキーポイントベースの手法とは異なり、本手法は意味的かつ一貫性のある領域を抽出し、位置、形状、姿勢を明確に記述する。これらの領域は意味的に関連性があり、明確に区別されたオブジェクトの部分に対応しており、ドライブ動画のフレーム内でより容易に検出可能である。前景と背景の分離を強制するため、非オブジェクト関連のグローバルモーションを追加のアフィン変換でモデル化する。アニメーションの実現を促進し、ドライブオブジェクトの形状が漏れ出るのを防ぐために、領域空間においてオブジェクトの形状とポーズを分離する。本モデルは多様なオブジェクトのアニメーション化を可能とし、既存のベンチマークにおいて従来手法を大きく上回る性能を示す。高解像度動画を用いた挑戦的な新しいベンチマークを提示し、特に関節を持つオブジェクトに対して性能向上が顕著であることを示した。その結果、最新の手法と比較して96.6%のユーザー評価を得た。