FrankMocap: 회귀와 통합을 통한 단일 카메라 기반 3D 전신 자세 추정 시스템

기존의 단안 3D 자세 추정 기법들은 주로 신체의 특정 부위에만 초점을 맞추며, 인간 운동의 핵심적인 미묘한 특성이 얼굴, 손, 신체의 복합적인 미세한 움직임을 통해 전달된다는 사실을 간과하고 있다. 본 논문에서는 실외 환경에서 촬영된 단안 영상에서 얼굴, 손, 신체의 3D 자세를 동시에 정확하고 빠르게 추정할 수 있는 FrankMocap이라는 전신 3D 자세 추정 시스템을 제안한다. FrankMocap의 핵심 아이디어는 모듈형 설계이다. 먼저 얼굴, 손, 신체에 대해 각각 독립적으로 3D 자세 회귀 방법을 적용한 후, 회귀 결과를 통합 모듈을 통해 조합한다. 별도의 회귀 모듈을 사용함으로써, 각 모듈의 최신 기술 성능을 극대화하면서도 기존의 정확성과 신뢰성을 희생하지 않고 실용적으로 활용할 수 있다. 우리는 지연 시간과 정확성 사이에서 균형을 잡는 세 가지 서로 다른 통합 모듈을 개발하였으며, 이들 모두는 별도의 출력을 원활하게 통합하여 일관된 전신 자세 추정 결과를 제공하는 간단하면서도 효과적인 솔루션을 제공한다. 정량적 및 정성적 실험을 통해, 본 연구의 모듈형 시스템이 전통적인 최적화 기반 및 엔드 투 엔드 방식의 전신 자세 추정 기법들을 모두 능가함을 입증하였다.