3DHR-Co: 자연 환경에서의 3차원 인간 신체 재구성 작업을 위한 공동 테스트 시점 개선 프레임워크

최근 몇 년간, 매개변수 기반의 자세 및 형태 표현을 활용하는 3D 인간 신체 재구성(이하 3DHR) 분야는 상당한 발전을 이뤘다. 그러나 현실 세계의 다양한 시나리오, 즉 '자연 상태 데이터(in-the-wild data)'를 다루는 3DHR 기법의 적용은 여전히 한계에 직면해 있다. 주요 도전 과제는 자연 상태 환경에서 정확한 3D 인간 자세 지표(GT)를 확보하는 것이 다양한 요인들로 인해 여전히 어렵기 때문이다. 최근의 3DHR 테스트 시간 보정(test-time refinement) 접근법은 자연 상태 데이터에 대한 3D 감독 정보의 부족을 보완하기 위해 초기 2D 오프더셀프(off-the-shelf) 인간 키포인트 정보를 활용하고 있다. 그러나 우리는 단순히 추가적인 2D 감독 정보만을 사용할 경우, 일반적인 3DHR 백본 모델에서 과적합(overfitting) 문제가 발생할 수 있음을 관찰하였다. 이로 인해 3DHR 테스트 시간 보정 작업이 해결하기 어려운 문제로 여겨지게 되었다.이 문제에 대응하기 위해, 우리는 협업 기반의 전략을 제안함으로써 3DHR 테스트 시간 보정 작업의 한계를 극복하고자 하였다. 구체적으로, 먼저 하나의 프레임워크 내에서 다양한 3DHR 모델 간의 협업을 통해 초기 출력을 직접적으로 개선하는 사전 적응(pre-adaptation) 기법을 적용한다. 이후, 특정 설정 하에서 과적합 문제를 최소화하는 테스트 시간 적응(test-time adaptation) 기법과 이 사전 적응 기법을 결합함으로써 3DHR 성능을 추가로 향상시킨다. 전체 프레임워크는 3DHR-Co로 명명되며, 실험 결과로 제안한 방법이 일반적인 대표적인 3DHR 백본 모델의 성능을 크게 향상시켜 평균 자세 오차를 최대 34mm까지 감소시킴으로써 자연 상태 기준 데이터셋에서 최상위 성능에 근접하게 만들었다. 이러한 성과는 본 연구의 접근법이 일반적인 전통적 3DHR 백본 모델의 진정한 잠재력을 드러내는 데 기여함을 보여준다.이러한 발견을 바탕으로, 우리는 제안된 프레임워크의 다양한 설정을 탐구하여, 협업 기반 접근법이 3DHR 작업에서 가지는 실질적인 능력을 더욱 명확히 규명하고자 하였다.