Pose2Mesh: 2D 인간 자세에서 3D 인간 자세 및 메시 복원을 위한 그래프 컨볼루션 네트워크

최근의 딥러닝 기반 3차원 인간 자세 및 메시 추정 방법들은 입력 이미지로부터 SMPL, MANO와 같은 인간 메시 모델의 자세 및 형태 파라미터를 회귀하는 방식을 주로 사용한다. 이러한 방법의 첫 번째 약점은, 실험실과 같은 통제된 환경에서 수집된 학습 데이터와 실제 환경(인-더-와일드)에서 수집된 테스트 데이터 간의 이미지 외관 차이로 인해 발생하는 '외관 도메인 갭(appearence domain gap)' 문제이다. 두 번째 약점은 3차원 회전 표현 방식의 한계로 인해 자세 파라미터 추정이 매우 어렵다는 점이다. 위의 약점을 극복하기 위해, 본 연구에서는 2차원 인간 자세를 입력으로 받아 인간 메시 정점의 3차원 좌표를 직접 추정하는 새로운 그래프 컨볼루션 신경망(GraphCNN) 기반 시스템인 Pose2Mesh를 제안한다. 2차원 자세를 입력으로 사용함으로써 인간 신체의 관절 구조 정보를 효과적으로 활용할 수 있으며, 두 도메인 간에 상대적으로 균일한 기하학적 특성을 가지는 장점이 있다. 또한 제안된 시스템은 GraphCNN을 계층적(코어스 투 파인, coarse-to-fine) 방식으로 활용하여 메시의 토폴로지 정보를 최대한 활용하면서도 자세 표현의 문제를 피할 수 있다. 다양한 벤치마크 데이터셋에서 기존의 3차원 인간 자세 및 메시 추정 방법들을 상회하는 성능을 입증하였다. 코드는 다음 링크에서 확인할 수 있다: https://github.com/hongsukchoi/Pose2Mesh_RELEASE.