PyMAF: 피라미달 메시 정렬을 이용한 3D 인간 포즈 및 형태 회귀 피드백 루프

최근 회귀 기반 방법들이 단일 카메라 이미지에서 인간 메시를 재구성하는 데 유망한 결과를 보여주고 있습니다. 이러한 방법들은 원시 픽셀을 모델 매개변수로 직접 매핑하여 신경망을 통해 순방향 방식으로 매개변수 모델을 생성할 수 있습니다. 그러나 매개변수의 미세한 편차가 추정된 메시와 이미지 증거 사이에 눈에 띄는 불일치를 초래할 수 있습니다. 이 문제를 해결하기 위해, 우리는 피라미달 메시 정렬 피드백(PymAF, Pyramidal Mesh Alignment Feedback) 루프를 제안합니다. 이 루프는 특징 피라미드를 활용하여 추정된 메시와 이미지의 정렬 상태에 따라 예측된 매개변수를 명시적으로 수정합니다. PymAF에서는 현재 예측된 매개변수를 바탕으로 고해상도 특징에서 메시-정렬 증거가 추출되어 매개변수 수정에 사용됩니다. 이러한 증거의 노이즈를 줄이고 신뢰성을 향상시키기 위해, 특징 인코더에 보조적인 픽셀 단위 감독이 부과됩니다. 이는 우리의 네트워크가 공간적 특징에서 가장 관련성이 높은 정보를 유지하도록 메시-이미지 대응 관계 지침을 제공합니다.우리 접근법의 효과는 Human3.6M, 3DPW, LSP, COCO 등의 여러 벤치마크에서 검증되었습니다. 실험 결과는 우리 접근법이 재구성의 메시-이미지 정렬을 일관되게 개선함을 보여줍니다. 프로젝트 페이지에는 코드와 비디오 결과가 포함되어 있으며, 다음 주소에서 확인할 수 있습니다: https://hongwenzhang.github.io/pymaf.