단일 이미지에서 여러 사람의 일관된 재구성

이 연구에서는 단일 이미지에서 다중 인물의 3차원 자세 추정 문제를 다룹니다. 이 문제의 상향식 접근에서 일반적인 회귀 방법은 먼저 모든 사람을 감지한 다음 각각을 독립적으로 재구성합니다. 그러나 이러한 예측 방식은 장면 내 사람들 간의 관통(interpenetration) 및 일관되지 않은 깊이 순서 등의 불일치된 결과를 초래할 수 있습니다. 우리의 목표는 이러한 문제들을 피하고 장면 내 모든 사람들의 일관된 3차원 재구성을 생성하는 단일 네트워크를 학습시키는 것입니다. 이를 위해 주요 설계 선택 사항 중 하나는 상향식 프레임워크에 SMPL 매개변수화 몸체 모델을 통합하는 것입니다. 이는 두 가지 새로운 손실 함수의 사용을 가능하게 합니다. 첫째, 거리장 기반 충돌 손실(distance field-based collision loss)은 재구성된 사람들 간의 관통을 제재합니다. 둘째, 깊이 순서 인식 손실(depth ordering-aware loss)은 가림(occlusions)에 대해 추론하고, 주석된 인스턴스 분할과 일치하는 렌더링을 생성하도록 사람들의 깊이 순서를 촉진합니다. 이는 이미지에 명시적인 3차원 주석이 없더라도 네트워크에 깊이 지도 신호를 제공합니다. 실험 결과, 우리의 접근 방식은 표준 3차원 자세 벤치마크에서 기존 방법들을 능가하며, 제안된 손실 함수들은 자연 이미지에서 더욱 일관된 재구성을 가능하게 합니다. 비디오, 결과 및 코드가 포함된 프로젝트 웹사이트는 다음과 같습니다: https://jiangwenpl.github.io/multiperson