gSDF: 幾何学に基づく符号付き距離関数を用いた3次元手部-物体再構成

符号距離関数（SDFs）は、最近画像から3D形状を再構成するための有望な枠組みとして注目を集めています。SDFsは異なる形状解像度やトポロジーにシームレスに一般化できますが、基礎となる3D幾何学の明示的なモデリングには欠けています。本研究では、手の構造を利用し、SDFに基づく形状再構成のガイダンスとして活用します。特に、単眼RGB画像から手と操作対象物の再構成に焦点を当てます。この目的のために、手と物体の姿勢を推定し、それらを使用して3D再構成をガイドします。より具体的には、姿勢変換の運動学的チェーンを予測し、高次元アーティキュレーションを持つ手の姿勢とSDFsを合わせます。さらに、幾何学的アライメントにより3D点の視覚的特徴を改善し、時間情報を活用してオクルージョンやモーションブラーに対する堅牢性を向上させます。我々は困難なObManおよびDexYCBベンチマークで広範な実験を行い、提案手法が既存の最先端技術に対して大幅な改善を示すことを証明しました。