DECO: 野生環境下での3D人間-シーン接触の高密度推定

人間が物理的な接触を用いて世界とどのように相互作用するかを理解することは、人間中心の人工知能を実現する上で重要な鍵となります。3次元接触を推定することは、現実的で物理的に妥当な人間-物体相互作用をモデル化するために不可欠ですが、既存の手法は2次元に焦点を当てているか、体の関節ではなく表面に注目していない、または粗い3次元体領域を使用しているか、野生環境の画像には一般化しないという問題があります。これに対して、我々は任意の画像における全身表面と物体との間の濃密な3次元接触を推定することに焦点を当てています。この目的達成のために、まずDAMONという新しいデータセットを作成しました。このデータセットには、複雑な人間-物体および人間-シーン接触が含まれるRGB画像と組み合わされた濃密な頂点レベルの接触アノテーションが収録されています。次に、DECOという新規3次元接触検出器を開発し、訓練しました。DECOは、身体部位駆動型およびシーンコンテキスト駆動型の注意メカニズムを使用してSMPLボディ上の頂点レベルの接触を推定します。DECOは、人間の観察者が接点認識のために接している身体部位、それらがシーン内の物体からどれだけ近いか、そして周囲のシーンコンテキストについて推論することに基づいています。我々はDAMONだけでなくRICHおよびBEHAVEデータセットでも検出器の評価を行いました。これらのベンチマークにおいて既存の最先端（SOTA）手法よりも大幅に優れた性能を示しています。また質的な評価では、DECOが自然な画像における多様で挑戦的な実世界の人間相互作用にも良好に一般化することを示しています。コード、データセット、モデルはhttps://deco.is.tue.mpg.de から入手可能です。