4D에서의 인간: 트랜스포머를 활용한 인간의 재구성 및 추적

우리는 인간을 재구성하고 시간에 따라 추적하는 방법을 제안한다. 본 연구의 핵심은 인간 메시 재구성용 네트워크의 완전한 '트랜스포머화'(transformerized) 버전을 제안하는 것이다. 이 네트워크인 HMR 2.0는 기존 기술의 한계를 넘어 단일 이미지에서 과거에 재구성하기 어려웠던 이례적인 자세까지 분석할 수 있는 능력을 보여준다. 비디오 분석을 위해 HMR 2.0로부터 생성된 3D 재구성 결과를 3D에서 작동하는 추적 시스템의 입력으로 사용한다. 이를 통해 다수의 사람을 동시에 처리하고, 가림 현상(오클루전)이 발생할 경우에도 개체의 정체성을 유지할 수 있다. 본 연구에서 제안하는 종합적인 접근 방식인 4DHumans는 단일 카메라 영상에서 사람을 추적하는 데 있어 최고 수준의 성능을 달성하였다. 더불어 HMR 2.0이 하류 작업인 동작 인식(task of action recognition)에 효과적임을 입증하였으며, 기존의 자세 기반 동작 인식 방법보다 유의미한 성능 향상을 보였다. 본 연구의 코드와 모델은 프로젝트 웹사이트에서 공개되어 있다: https://shubham-goel.github.io/4dhumans/.