PoseAug: 3D 인간 자세 추정을 위한 미분 가능한 자세 증강 프레임워크

기존의 3D 인간 자세 추정기는 훈련 데이터에서 2D-3D 자세 쌍의 다양성이 제한적이기 때문에 새로운 데이터셋에 대한 일반화 성능이 떨어집니다. 이 문제를 해결하기 위해, 우리는 PoseAug라는 새로운 자동 증강 프레임워크를 제시합니다. PoseAug는 더 큰 다양성을 향해 기존 훈련 자세를 증강하여 훈련된 2D-to-3D 자세 추정기의 일반화 성능을 개선하는 방법을 학습합니다. 구체적으로, PoseAug는 다양한 기하학적 요소(예: 자세, 체형 크기, 시점 및 위치)를 미분 가능한 연산을 통해 조정하는 새로운 자세 증강기를 도입합니다. 이러한 미분 가능한 능력을 통해 증강기는 3D 자세 추정기와 함께 공동 최적화될 수 있으며, 추정 오류를 피드백으로 받아 온라인 방식으로 더욱 다양하고 어려운 자세를 생성할 수 있습니다. 또한, PoseAug는 국부 관절 각도의 타당성을 평가하기 위한 새로운 부분 인식 Kinematic Chain Space(관절 운동 사슬 공간)를 소개하고, 이를 바탕으로 차별화된 모듈을 개발하여 증강된 자세의 타당성을 보장합니다. 이러한 세심한 설계 덕분에 PoseAug는 기존 오프라인 증강 방법보다 더 다양하면서도 타당한 자세를 생성할 수 있으며, 이로 인해 자세 추정기의 일반화 성능이 더욱 우수해집니다. PoseAug는 일반적이며 다양한 3D 자세 추정기에 쉽게 적용할 수 있습니다. 광범위한 실험 결과, PoseAug는 동일 상황 내 데이터셋과 다른 상황 간 데이터셋 모두에서 명확한 개선 효과를 보였습니다. 특히, MPI-INF-3DHP 데이터셋에서 교차 데이터셋 평가 설정 하에서 88.6%의 3D PCK(Pose Confidence Key-point) 성능을 달성하며, 이전 최고의 데이터 증강 기반 방법보다 9.1% 개선되었습니다. 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/jfzhang95/PoseAug.