PoseTriplet: 자기지도 하에 공동 진화하는 3D 인간 자세 추정, 모방 및 환상 생성

기존의 자기지도형 3차원 인간 자세 추정 기법은 주로 일관성 손실과 같은 약한 지도 신호를 활용하여 학습을 유도해 왔으며, 이는 보이지 않는 자세가 포함된 실제 환경에서 성능이 저하되는 결과를 초래한다. 본 논문에서는 자기강화 이중 루프 학습 프레임워크를 통해 2D-3D 자세 쌍을 명시적으로 생성함으로써 지도 정보를 보강할 수 있는 새로운 자기지도형 접근법을 제안한다. 이는 자세 추정기와 함께 학습되는 강화학습 기반의 모방자(imitator)를 도입함으로써 가능해진다. 이 세 가지 구성 요소는 학습 과정에서 두 개의 상호 보완적 루프를 형성하며, 서로를 강화한다. 구체적으로, 자세 추정기는 입력된 2D 자세 시퀀스를 낮은 정밀도의 3D 출력으로 변환하고, 이를 물리적 제약 조건을 강제하는 모방자가 보정한다. 보정된 3D 자세는 이후 자세 환각기(hallucinator)에 입력되어 더욱 다양한 데이터를 생성한다. 생성된 데이터는 다시 모방자에 의해 강화되며, 자세 추정기의 학습에 활용된다. 이러한 공진화적 학습 방식은 실제론 주어진 3D 데이터에 의존하지 않고도 자기 생성된 운동 데이터를 기반으로 자세 추정기를 학습할 수 있게 한다. 다양한 벤치마크에서 실시한 광범위한 실험 결과는 제안한 방법이 기존 최고 수준의 기법들을 크게 능가하며, 일부 경우에서는 완전 지도 학습 방법과도 비슷한 성능을 달성함을 보여준다. 특히, 자기지도형 크로스-데이터셋 평가 환경에서 MPI-INF-3DHP 데이터셋에서 3D PCK 지표로 89.1%의 성능을 기록하며, 기존 최고의 자기지도형 방법보다 8.6% 향상된 결과를 달성하였다. 코드는 다음과 같은 링크에서 확인할 수 있다: https://github.com/Garfield-kh/PoseTriplet