AdaFuse: 자연 환경에서 정확한 인간 자세 추정을 위한 적응형 다중 시점 융합

자리가 가려지는 현상은 실제 환경에서 인간 자세 추정에 있어 가장 큰 도전 과제일 것이다. 기존의 대표적인 해결 방안은 IMU와 같은 침입형 센서를 사용하여 가려진 관절을 탐지하는 데 의존한다. 더 이상 제약 없이 작업할 수 있도록 하기 위해, 우리는 가시 영상에서의 특징을 활용하여 가려진 영상의 특징을 강화할 수 있는 적응형 다중 시점 융합 방법인 AdaFuse를 제안한다. AdaFuse의 핵심은 두 시점 간의 점-점 대응 관계를 결정하는 것이다. 이 문제는 히트맵 표현의 희소성 특성을 효과적으로 탐색함으로써 해결한다. 또한 각 카메라 시점의 특징 품질을 반영할 수 있도록 적응형 융합 가중치를 학습하여, 우수한 특징이 '나쁜' 시점의 영향으로 부정적으로 손상되는 가능성을 줄인다. 융합 모델은 자세 추정 네트워크와 함께 엔드투엔드로 훈련되며, 추가적인 적응 없이도 새로운 카메라 구성에 바로 적용할 수 있다. 우리는 Human3.6M, Total Capture, CMU Panoptic 세 가지 공개 데이터셋에서 본 방법을 광범위하게 평가하였으며, 모든 데이터셋에서 기존 최고 성능 기법을 능가하였다. 또한, 각 이미지 내 모든 관절에 대해 가려짐 레이블을 제공하는 대규모 합성 데이터셋인 Occlusion-Person을 구축하였다. 이 데이터셋을 통해 가려진 관절에 대한 수치적 평가를 수행할 수 있다. 본 연구의 데이터셋과 코드는 https://github.com/zhezh/adafuse-3d-human-pose 에 공개되어 있다.