단일 이미지 인간 형태 재구성용 합성곱 메시 회귀

본 논문은 단일 이미지에서 3차원 인간 자세와 형태를 추정하는 문제를 다룹니다. 이전 연구들은 인간의 몸을 표현하는 매개변수 모델인 SMPL을 고려하고, 이미지 증거와 일치하는 메시를 생성하는 모델 매개변수를 회귀하려고 시도했습니다. 이러한 매개변수 회귀는 매우 어려운 작업으로, 모델 기반 접근법이 비모델 기반 해결책에 비해 자세 추정 측면에서 성능이 떨어졌습니다. 우리의 연구에서는 이 모델 매개변수 공간에 대한 과도한 의존성을 완화하기 위해 제안합니다. 여전히 SMPL 템플릿 메시의 위상 구조는 유지하지만, 모델 매개변수를 예측하는 대신 메시 정점들의 3차원 위치를 직접 회귀합니다. 일반적인 네트워크에게는 이 작업이 무거운 부담이지만, 우리의 핵심 통찰력은 그래프-CNN을 사용하면 회귀가 상당히 용이해진다는 것입니다. 이 아키텍처는 네트워크 내부에 템플릿 메시 구조를 명시적으로 인코딩하고, 메시가 제공하는 공간 근접성을 활용할 수 있게 합니다. 이미지 기반 특징들이 메시 정점들에 연결되며, 그래프-CNN은 이러한 특징들을 메시 구조에서 처리하는 역할을 담당합니다. 각 정점의 회귀 목표는 그 정점의 3차원 위치입니다.메시의 전체 3차원 기하학적 구조를 복구한 후, 특정 모델 매개변수가 필요하다면 이를 정점 위치로부터 신뢰성 있게 회귀할 수 있습니다. 우리는 다양한 유형의 특징들을 메시 정점에 연결하여 제안된 그래프 기반 메시 회귀의 유연성과 효과성을 입증하였습니다. 모든 경우에서 우리는 모델 매개변수 회귀에 의존하는 유사한 베이스라인보다 우월한 성능을 보였으며, 또한 모델 기반 자세 추정 접근법 중 최고 수준의 결과를 달성하였습니다.