사람의 형태와 자세의 단일 통로 복원

우리는 단일 RGB 이미지에서 인간의 완전한 3D 메시를 재구성하는 엔드투엔드 프레임워크인 Human Mesh Recovery (HMR)을 설명합니다. 현재 대부분의 방법이 2D 또는 3D 관절 위치를 계산하는 것과 달리, 우리는 형태와 3D 관절 각도로 매개변수화된 더 풍부하고 유용한 메시 표현을 생성합니다. 주요 목표는 키포인트의 재투영 손실을 최소화하는 것입니다. 이는 우리의 모델이 실제 2D 주석만 있는 야외 이미지를 사용하여 학습될 수 있도록 합니다. 그러나 재투영 손실만으로는 모델이 매우 제약을 받습니다. 이 연구에서는 이러한 문제를 해결하기 위해 대규모 3D 인간 메시 데이터베이스를 사용하여 인간 몸매 매개변수가 실제인지 아닌지를 구분하도록 훈련된 적대자를 도입하였습니다.우리는 HMR이 쌍으로 된 2D-3D 감독을 사용하거나 사용하지 않고도 학습될 수 있음을 보여줍니다. 중간 2D 키포인트 검출에 의존하지 않고 이미지 픽셀로부터 직접 3D 자세와 형태 매개변수를 추론합니다. 사람이 포함된 바운딩 박스가 주어지면 우리의 모델은 실시간으로 실행됩니다. 우리는 다양한 야외 이미지에서 접근 방식을 시연하며, 3D 메시 출력을 하는 이전 최적화 기반 방법들을 능가하며, 3D 관절 위치 추정 및 부위 분할 등의 작업에서 경쟁력 있는 결과를 보여줍니다.