단일 샷 다중 인물 3D 자세 추정 모노클라우어 RGB로부터

일반 장면에서 단일 카메라(RGB)를 사용하여 다중 인물의 3차원 자세 추정을 위한 새로운 원샷 방법을 제안합니다. 본 접근 방식은 강한 부분 가림 현상이 발생하더라도 다른 사람과 물체에 의해 완전한 몸통 자세 추론이 가능하도록 하는 새로운 차단 내성 자세 맵(Occlusion-Robust Pose-Maps, ORPM)을 활용합니다. ORPM은 장면 내 모든 사람의 3차원 관절 위치를 인코딩하는 고정된 수의 맵을 출력합니다. 몸통 부위 연관성을 통해 명시적인 경계 상자 예측 없이 임의의 수의 사람에 대한 3차원 자세를 추론할 수 있습니다.본 접근 방식을 훈련하기 위해 우리는 MuCo-3DHP라는 첫 번째 대규모 훈련 데이터 세트를 소개합니다. 이 데이터 세트는 복잡한 다중 인물 상호 작용과 차단 현상을 보여주는 실제 이미지를 포함하고 있습니다. 우리는 여러 시점 성능 캡처로부터 얻은 지면 진실(ground truth) 정보를 가진 개별 사람들의 이미지를 합성하여 대규모 다중 인물 이미지 코퍼스를 생성했습니다.우리는 본 방법을 새로운 도전적인 3차원 주석 다중 인물 테스트 세트인 MuPoTs-3D에서 평가하였으며, 최고 수준의 성능을 달성하였습니다. 다중 인물 3차원 자세 추정 연구를 더욱 촉진하기 위해, 우리는 새로운 데이터 세트와 관련 코드를 연구 목적으로 공개할 계획입니다.