HOISDF: グローバル符号付き距離場を用いた3次元手部-物体姿勢推定の制約

人間の手は非常に複雑で、物体を扱うのに多様な能力を持っています。単眼カメラから手とその操作する物体の3次元姿勢を同時推定することは、頻繁に発生する被覆（occlusions）のために困難です。したがって、既存の手法では、性能向上のために中間的な3次元形状表現に依存することが多いです。これらの表現は通常、明示的であり、3次元点群やメッシュなどにより、中間的な手の姿勢推定の直接的な周辺領域における情報を提供します。この問題に対処するために、我々はHOISDF（Signed Distance Field (SDF) 指導型手-物体姿勢推定ネットワーク）を提案します。HOISDFは、手と物体のSDFを共同で活用し、完全な再構成体積に対する全体的かつ暗黙的な表現を提供します。特に、SDFの役割は三つあります：視覚エンコーダーに暗黙的な形状情報を装備すること、手-物体相互作用を符号化するのに役立つこと、そしてSDFに基づくサンプリングと特徴表現の拡張によって手と物体の姿勢回帰をガイドすることです。我々はHOISDFが手-物体姿勢推定ベンチマーク（DexYCBおよびHO3Dv2）において最先端の結果を達成していることを示しています。コードはhttps://github.com/amathislab/HOISDF で公開されています。