UniHPE: 대조 학습을 통한 통합된 인간 포즈 추정

최근, 다양한 모달에서 얻은 정보를 결합하기 위한 효과적인 인식 기술 개발에 대한 관심이 증가하고 있습니다. 이는 다양한 출처에서 얻은 특성을 정렬하여 더 큰 데이터셋과 제약 조건을 사용한 효율적인 학습을 가능하게 하며, 각 모달에 포함된 풍부한 정보를 활용하는 것을 포함합니다. 2D 및 3D 인간 자세 추정(Human Pose Estimation, HPE)은 컴퓨터 비전에서 중요한 두 가지 인식 작업으로, 행동 인식(Action Recognition), 인간-컴퓨터 상호작용(Human-Computer Interaction), 객체 추적(Object Tracking) 등 여러 하류 응용 분야가 있습니다. 그러나 이미지와 2D/3D 인간 자세 간의 상관관계를 대조적 패러다임을 사용하여 명확히 연구한 사례는 제한적이었습니다. 본 논문에서는 모든 세 가지 모달, 즉 2D 인간 자세 추정, 리프팅 기반 3D 인간 자세 추정, 이미지 기반 3D 인간 자세 추정의 특성을 동일한 파이프라인에서 정렬하는 통합된 인간 자세 추정 파이프라인 UniHPE를 제안합니다. 두 개 이상의 모달을 동시에 정렬하기 위해, 우리는 서로 다른 모달을 더 잘 정렬하고 성능을 더욱 향상시키는 새로운 특이값 기반 대조 학습 손실(Singular Value Based Contrastive Learning Loss)을 제안합니다. 평가 결과, UniHPE는 Human3.6M 데이터셋에서 MPJPE $50.5$mm와 3DPW 데이터셋에서 PAMPJPE $51.6$mm라는 뛰어난 성능 지표를 달성했습니다. 우리 제안 방법은 컴퓨터 비전 분야의 발전에 큰 잠재력을 가지고 있으며, 다양한 응용 분야에 기여할 수 있을 것입니다.