접촉 기반 정교화를 통한 3D 인간 및 물체의 공동 재구성 트랜스포머

인물-객체 접촉은 인물이 물체와 어떻게 물리적으로 상호작용하는지를 이해하는 데 강력한 단서로 작용합니다. 그럼에도 불구하고, 단일 이미지에서 3D 인물과 객체의 공동 재구성을 위해 인물-객체 접촉 정보를 활용하는 연구는 아직 널리 이루어지지 않았습니다. 본 연구에서는 인간과 객체 간의 접촉 정보를 효과적으로 활용하는 새로운 공동 3D 인물-객체 재구성 방법(CONTHO)을 제시합니다. 우리 시스템에는 두 가지 핵심 설계가 포함되어 있습니다: 1) 3D 유도 접촉 추정 및 2) 접촉 기반 3D 인물 및 객체 정교화입니다. 첫째, 정확한 인물-객체 접촉 추정을 위해 CONTHO는 먼저 3D 인물을 재구성하고 이를 명시적인 3D 가이드로 사용하여 접촉을 추정합니다. 둘째, 초기 3D 인물 및 객체 재구성을 개선하기 위해 우리는 새로운 접촉 기반 정교화 트랜스포머를 제안합니다. 이 트랜스포머는 추정된 인물-객체 접촉을 기반으로 인간 특징과 객체 특징을 효과적으로 집약화합니다. 제안된 접촉 기반 정교화는 인간과 객체 사이의 잘못된 상관관계 학습을 방지하여 정확한 3D 재구성을 가능하게 합니다. 결과적으로, 우리의 CONTHO는 인물-객체 접촉 추정 및 공동 3D 인물-객체 재구성에서 최고 수준의 성능을 달성하였습니다. 코드는 https://github.com/dqj5182/CONTHO_RELEASE에서 공개적으로 이용할 수 있습니다.