PyMAF-X: 단일 카메라 이미지로부터 잘 정렬된 전체 몸체 모델 회귀를 향하여

우리는 단일 카메라 이미지에서 파라메트릭 전체 신체 모델을 복원하기 위한 회귀 기반 접근 방식인 PyMAF-X를 제시합니다. 이 작업은 매우 어려운데, 파라메터의 미세한 편차가 추정된 메시와 입력 이미지 간의 눈에 띄는 불일치를 초래할 수 있기 때문입니다. 또한, 부분별 추정값을 전체 신체 모델로 통합할 때 기존 솔루션들은 주로 불일치를 악화시키거나 비자연스러운 손목 자세를 생성하는 경향이 있습니다. 이러한 문제들을 해결하기 위해, 우리는 잘 맞춰진 인간 메시 복원을 위한 회귀 네트워크에서 피라미달 메시 정렬 피드백(Pyramidal Mesh Alignment Feedback, PyMAF) 루프를 제안하고 이를 표현력 있는 전체 신체 모델 복원으로 확장하여 PyMAF-X를 개발하였습니다.PyMAF의 핵심 아이디어는 특징 피라미드를 활용하여 메시-이미지 정렬 상태에 따라 예측된 파라메터를 명시적으로 수정하는 것입니다. 구체적으로, 현재 예측된 파라메터가 주어질 때, 더 고해상도의 특징들로부터 메시 정렬 증거가 추출되어 파라메터 수정에 사용됩니다. 정렬 인식을 강화하기 위해 보조적인 밀집 감독(dense supervision)이 도입되어 메시-이미지 대응 관계 지침을 제공하며, 공간적 정렬 주의(spatial alignment attention)가 소개되어 네트워크가 전역 컨텍스트에 대한 인식을 가능하게 합니다.전체 신체 메시 복원을 위해 PyMAF를 확장할 때, PyMAF-X에서는 자연스러운 손목 자세를 생성하면서 부분별 추정값들의 잘 맞춰진 성능을 유지하기 위한 적응적 통합 전략(adaptive integration strategy)을 제안합니다. 우리의 접근 방식의 유효성은 몸통, 손, 얼굴 및 전체 신체 메시 복원에 대한 여러 벤치마크 데이터셋에서 검증되었습니다. 여기서 PyMAF와 PyMAF-X는 효과적으로 메시-이미지 정렬을 개선하고 새로운 최신 결과(state-of-the-art results)를 달성하였습니다.프로젝트 페이지와 코드 및 동영상 결과는 다음 링크에서 확인할 수 있습니다: https://www.liuyebin.com/pymaf-x.