비지도 다중 모달 정렬을 이용한 다인물 3D 자세 추정

우리는 다중 인물 3D 자세 추정을 위한 배포 친화적이고 빠른 하향식 프레임워크를 제시합니다. 우리는 다중 인물 3D 자세의 새로운 신경망 표현을 채택하여, 사람 인스턴스의 위치와 해당 3D 자세 표현을 통합합니다. 이는 생성적 자세 임베딩을 학습함으로써 실현되며, 이는 타당한 3D 자세 예측을 보장하는 동시에 기존 하향식 접근 방식에서 사용되는 일반적인 키포인트 그룹화 작업을 제거합니다. 또한, 짝을 이루는 2D 또는 3D 자세 주석이 없는 상황에서도 실용적인 배포 패러다임을 제안합니다. 어떤 짝을 이루는 감독도 없는 경우, 우리는 다중 인물 2D 자세 추정 보조 작업에 대해 훈련된 동결된 네트워크를 교사 모델로 활용합니다. 우리는 이를 크로스-모달 정렬 문제로 설정하고, 두 가지 다른 모달 간의 공유 잠재 공간을 실현하기 위한 학습 목표를 제안합니다. 우리는 인공적으로 합성된 다중 인물 3D 장면 샘플을 사용하여 잠재 공간에서 3D 자세 매핑을 풍부하게 함으로써, 교사 네트워크의 한계를 넘어서 수행할 수 있는 모델의 능력을 강화하려고 합니다. 우리의 접근 방식은 일관된 감독 수준 하에서 기존 상향식 접근 방식보다 속도와 성능 사이에서 우수한 균형을 제공하며, 야외 이미지에도 일반화됩니다. 또한, 일관된 감독 수준 하에서 하향식 접근 방식 중 최신 다중 인물 3D 자세 추정 성능을 달성합니다.