3D 인간 메시 회귀 기법: 밀도 높은 대응 관계를 활용한 접근

단일 2D 이미지에서 인간 신체의 3D 메시를 추정하는 것은 증강 현실 및 인간-로봇 상호작용과 같은 다양한 응용 분야에서 중요한 과제이다. 그러나 기존의 연구들은 컨볼루셔널 신경망(CNN)을 통해 추출한 전역 이미지 특징을 기반으로 3D 메시를 재구성하였으며, 이 과정에서 메시 표면과 이미지 픽셀 간의 밀도 높은 대응 관계가 누락되어 최적의 해를 도출하지 못하는 문제가 있었다. 본 논문에서는 모델에 의존하지 않는 3D 인간 메시 추정 프레임워크인 DecoMR를 제안한다. DecoMR는 3D 메시의 텍스처 매핑에 사용되는 2D 공간인 UV 공간에서 메시와 로컬 이미지 특징 간의 밀도 높은 대응 관계를 명시적으로 설정한다. DecoMR는 먼저 이미지 픽셀과 표면 사이의 밀도 높은 대응 맵(즉, IUV 이미지)을 예측하고, 이를 통해 이미지 공간의 로컬 특징을 UV 공간으로 전이한다. 이후 전이된 로컬 이미지 특징은 UV 공간에서 처리되어 전이된 특징과 잘 정렬된 위치 맵을 회귀한다. 마지막으로, 회귀된 위치 맵을 기반으로 사전 정의된 매핑 함수를 이용하여 3D 인간 메시를 재구성한다. 또한 기존의 불연속적인 UV 맵이 네트워크 학습에 불리하다는 점을 관찰하였으며, 이를 해결하기 위해 원래 메시 표면의 대부분의 이웃 관계를 유지하는 새로운 UV 맵을 제안한다. 실험 결과, 제안하는 로컬 특징 정렬 기법과 연속적인 UV 맵이 여러 공개 벤치마크에서 기존의 3D 메시 기반 방법들을 초월함을 입증하였다. 코드는 https://github.com/zengwang430521/DecoMR 에서 공개될 예정이다.