직관적 물리 기반 3D 인간 자세 추정

이미지에서 3차원 인간을 추정하는 기법은 종종 기울거나 부유하거나 바닥을 관통하는 비현실적인 몸체를 생성한다. 이러한 방법들은 일반적으로 몸체가 장면에 의해 지지된다는 사실을 무시한다. 물리 엔진을 사용하면 물리적 타당성을 강제할 수 있지만, 이는 미분 가능하지 않으며 비현실적인 대체 몸체에 의존하며, 기존의 최적화 및 학습 프레임워크에 통합하기 어렵다. 반면에, 우리는 3차원 SMPL 몸체가 장면과 상호작용할 때 추론할 수 있는 새로운 직관적 물리학(intuitive-physics, IP) 항목을 활용한다. 생체역학을 영감으로 삼아, 몸체 위의 압력 히트맵을 추정하고, 이 히트맵으로부터 압력 중심(Center of Pressure, CoP)과 SMPL 몸체의 질량 중심(Center of Mass, CoM)을 추론한다. 이를 바탕으로, 합리적인 바닥 접촉과 CoP 및 CoM의 겹침을 유도함으로써 색상 이미지로부터 3차원 몸체를 '안정된' 상태로 추정하는 IPMAN을 개발하였다. 제안하는 IP 항목은 직관적이며 구현이 간편하고 계산 속도가 빠르며, 미분 가능하며 기존의 최적화 및 회귀 방법에 쉽게 통합할 수 있다. IPMAN은 기존의 표준 데이터셋과, 복잡한 자세, 몸체-바닥 접촉, 질량 중심, 압력 정보를 포함하는 새로운 다중 시점 동기화 이미지 데이터셋인 MoYo에서 평가되었으며, 최신 기술 대비 더 현실적인 결과를 도출하였고, 정적 자세의 정확도를 향상시키면서도 동적 자세의 성능에는 해를 끼치지 않았다. 코드와 데이터는 연구용으로 https://ipman.is.tue.mpg.de 에서 제공된다.