Command Palette
Search for a command to run...
HandOS: 一段階での3D手の再構成
HandOS: 一段階での3D手の再構成
Xingyu Chen Zhuheng Song Xiaoke Jiang Yaoqing Hu Junzhi Yu Lei Zhang
概要
既存の手再構築手法は、検出、左右分類、姿勢推定を含む多段階フレームワークに主に従っています。このパラダイムは冗長な計算と累積エラーを引き起こします。本研究では、3次元手再構築のためのエンドツーエンドフレームワークであるHandOSを提案します。我々の中心的な動機は、凍結された検出器を基盤としながら、2次元および3次元キーポイント推定の補助モジュールを組み込むことにあります。これにより、姿勢推定能力を検出フレームワークに統合しつつ、左右分類を使用する必要性を排除することができます。具体的には、2次元関節の意味論が検出情報から導かれ、3次元表現が2次元関節の表現から生成されるインタラクティブな2D-3Dデコーダーを提案します。さらに、階層的注意機構を設計することで、2次元関節、3次元頂点、カメラ移動の同時モデリングを可能にしました。その結果、手検出、2次元姿勢推定、3次元メッシュ再構築が一括して統合された単段階フレームワークを達成し、上記の多段階フレームワークの欠点を克服しました。同時に、HandOSは公開ベンチマークで最先端の性能を達成しており、例えばFreiHandでは5.0 PA-MPJPE(Position and Angle Mean Per Joint Position Error)、HInt-Ego4Dでは64.6% [email protected](Percentage of Correct Keypoints)となっています。プロジェクトページ: idea-research.github.io/HandOSweb.