UPose3D: 시각 간 및 시간적 신호를 활용한 불확실성 인지 3차원 인간 자세 추정

우리는 정확도와 확장성 측면에서 도전 과제를 해결하는 다중 뷰 3D 인간 자세 추정을 위한 새로운 접근법인 UPose3D를 제안한다. 기존의 자세 추정 프레임워크를 개선함으로써, 직접적인 3D 레이블이 필요 없이도 강건성과 유연성을 향상시킨다. 본 연구의 핵심은 단일 이미지에서 작동하는 2D 키포인트 추정기로부터 도출된 예측을 시계열적 정보와 다중 뷰 정보를 활용하여 정교화하는 자세 컴파일러 모듈이다. 제안하는 새로운 다중 뷰 융합 전략은 카메라 수에 제한 없이 확장 가능하며, 합성 데이터 생성 전략을 통해 다양한 연기자, 장면, 시점에 걸쳐 일반화 성능을 보장한다. 또한 UPose3D는 2D 키포인트 추정기와 자세 컴파일러 모듈의 예측 불확실성을 활용함으로써 이상치 및 노이즈가 있는 데이터에 대한 강건성을 확보한다. 이로 인해 분포 외(Out-of-distribution) 환경에서도 최신 기술 수준의 성능을 달성한다. 더불어, 분포 내(In-distribution) 환경에서는 3D 레이블에 의존하는 기법들과 경쟁 가능한 성능을 제공하며, 오직 2D 감독만을 사용하는 방법들 중에서도 최고 수준의 성능을 기록한다.