야외 환경에서 단일 카메라 비디오를 이용한 견고하고 부드러운 3D 다중 인물 자세 추정

3D 포즈 추정은 다양한 실용적인 응용 분야를 가진 컴퓨터 비전에서 귀중한 작업입니다. 특히, 단일 카메라 비디오(3DMPPE)에서 다중 인물의 3D 포즈 추정은 매우 어려우며 아직까지 야외 환경에 적용하기에는 많은 제약이 있습니다. 우리는 기존 방법들이 해결되지 않은 세 가지 문제점을 제시합니다: 훈련 중 미처 보지 못한 시점에 대한 견고성 부족, 가림 현상에 대한 취약성, 그리고 출력 결과의 심각한 진동 현상입니다. 이를 해결하기 위해, 우리는 POTR-3D를 제안합니다. 이는 3DMPPE를 위한 첫 번째 시퀀스-투-시퀀스 2D-3D 변환 모델로, 새로운 기하학적 인식 데이터 증강 전략을 통해 다양한 시점의 무제한 데이터를 생성할 수 있으며 지면과 가림 현상을 고려합니다.다양한 실험을 통해 우리가 제안하는 모델과 데이터 증강이 미처 보지 못한 다양한 시점에 견고하게 일반화되고, 심각한 가림 현상에도 불구하고 안정적으로 포즈를 복원하며, 더욱 자연스럽고 부드러운 출력을 신뢰성 있게 생성함을 확인하였습니다. 우리의 접근 방식의 효과성은 공개 벤치마크에서 최신 성능을 달성함으로써 뿐만 아니라 더 도전적인 야외 환경 비디오에서 얻은 정량적 결과를 통해 입증되었습니다. 데모 영상은 https://www.youtube.com/@potr3d 에서 확인하실 수 있습니다.