DECO: 야외에서의 밀도 높은 3D 인간-장면 접촉 추정

인간이 물리적 접촉을 통해 세상과 상호작용하는 방식을 이해하는 것은 인간 중심의 인공지능을 가능하게 하는 데 핵심적인 요소입니다. 3D 접촉을 추론하는 것은 현실적이고 물리적으로 타당한 인간-물체 상호작용 모델링에 있어 중요하지만, 기존 방법들은 2D에 초점을 맞추거나 관절보다는 표면을 고려하지 않으며, 거친 3D 신체 영역을 사용하거나 자연 환경 이미지에 일반화되지 않는 경향이 있습니다. 이와 달리, 우리는 임의의 이미지에서 전체 신체 표면과 물체 간의 밀도 높은 3D 접촉을 추론하는 데 집중합니다. 이를 위해 먼저 DAMON이라는 새로운 데이터셋을 수집했습니다. 이 데이터셋은 복잡한 인간-물체 및 인간-장면 접촉이 포함된 RGB 이미지와 밀도 높은 정점 수준의 접촉 주석을 쌍으로 제공합니다. 두 번째로, 우리는 신체 부위 기반 주의력과 장면 맥락 기반 주의력을 모두 활용하여 SMPL 신체 모델에서 정점 수준의 접촉을 추정하는 새로운 3D 접촉 감지기인 DECO를 훈련시켰습니다. DECO는 인간 관찰자가 접촉 부분, 그 부분과 장면 내 물체 사이의 근접성, 그리고 주변 장면 맥락에 대해 논리적으로 생각함으로써 접촉을 인식한다는 통찰력을 바탕으로 합니다. 우리는 DAMON뿐만 아니라 RICH와 BEHAVE 데이터셋에서도 우리의 감지기를 광범위하게 평가했습니다. 모든 벤치마크에서 기존 최고 성능(SOTA) 방법들을 크게 능가하였으며, 또한 DECO가 자연스러운 이미지에서 다양하고 어려운 실제 세계의 인간 상호작용에 잘 일반화됨을 질적으로 보여주었습니다. 코드, 데이터 및 모델은 https://deco.is.tue.mpg.de에서 이용할 수 있습니다.