CHORE: 단일 RGB 이미지에서의 접촉, 인간 및 물체 재구성

이미지에서 3차원 인간을 인식하는 기존 대부분의 연구는 인간을 주변 환경과 분리하여 고려하는 방식을 취한다. 그러나 인간은 지속적으로 주변 물체와 상호작용하므로, 인간뿐 아니라 물체와 그 상호작용까지 함께 추론할 수 있는 모델의 필요성이 제기된다. 인간과 물체 사이의 심각한 가림 현상, 다양한 상호작용 유형, 깊이 불확실성 등으로 인해 이 문제는 매우 도전적이다. 본 논문에서는 단일 RGB 이미지에서 인간과 물체를 함께 재구성하는 새로운 방법인 CHORE를 제안한다. CHORE는 최근의 은닉 표면 학습 기술과 전통적인 모델 기반 피팅 기법에서 영감을 얻었다. 우리는 인간과 물체의 신경망 재구성을 두 개의 부호 없는 거리장(unsigned distance fields)으로 묘사하고, 매개변수화된 신체 모델과 물체 자세를 위한 대응 필드(correspondence field) 및 물체 자세 필드(object pose field)를 계산한다. 이를 통해 인간의 매개변수화된 신체 모델과 3차원 물체 템플릿을 안정적으로 피팅하면서도 상호작용을 함께 추론할 수 있다. 또한 기존의 픽셀 정렬형 은닉 학습 방법은 합성 데이터를 사용하고 현실 데이터에서는 성립하지 않는 가정을 내포하고 있다. 우리는 현실 데이터에서 더 효율적인 형태 학습을 가능하게 하는 간결한 깊이 인지 스케일링(depth-aware scaling) 기법을 제안한다. 실험 결과, 제안된 전략으로 학습한 공동 재구성 방식이 기존 최고 수준(SOTA) 기법을 크게 능가함을 보였다. 코드와 모델은 https://virtualhumans.mpi-inf.mpg.de/chore 에서 공개된다.