AlignSDF: 手と物体の再構築に向けたポーズアライメント付き符号付き距離場

最近の研究では、単眼カラー画像から手と操作対象物を同時再構成する分野で著しい進展が見られました。既存の手法は、主にパラメトリックメッシュまたは符号付き距離場（Signed Distance Fields: SDFs）のいずれかの表現に焦点を当てています。一方、パラメトリックモデルは事前知識を利用できる反面、形状変形やメッシュ解像度が制限されるため、手や物体の接触面などの詳細を正確に再構成できない場合があります。他方、SDFベースの手法は任意の詳細を表現できますが、明示的な事前知識が不足しています。本研究では、パラメトリック表現によって提供される事前知識を使用してSDFモデルを改善することを目指します。特に、姿勢と形状を分離する共同学習フレームワークを提案します。私たちはパラメトリックモデルから手と物体の姿勢を得て、それらを使用して3次元空間でSDFを合わせます。このように合わせられたSDFは形状詳細の再構成により集中でき、手と物体双方の再構成精度を向上させることを示しました。我々は方法を評価し、ObManおよびDexYCBベンチマークにおいて現行最先端技術に対する大幅な改善を実証しました。