표본 추출은 중요하다: 포인트 안내 3D 인간 메시 재구성

본 논문은 단일 RGB 이미지에서 3D 인간 메시를 재구성하기 위한 간단하면서도 강력한 방법을 제시합니다. 최근에는 트랜스포머에서 전체 메시 정점의 비국소적 상호작용을 효과적으로 추정하였으며, 신체 부위 간의 관계도 그래프 모델을 통해 처리되기 시작하였습니다. 이러한 접근법들이 3D 인간 메시 재구성 분야에서 뛰어난 진전을 보였음에도 불구하고, 2D 입력 이미지에서 인코딩된 특징과 각 정점의 3D 좌표 사이의 관계를 직접 추론하는 것은 여전히 어려운 문제입니다. 이 문제를 해결하기 위해, 우리는 간단한 특징 샘플링 방안을 설계하는 것을 제안합니다. 핵심 아이디어는 3D 메시 정점의 투영 결과로 추정된 점들(즉, 지상 진리)의 안내에 따라 임베디드 공간에서 특징을 샘플링하는 것입니다. 이는 모델이 2D 공간에서 정점 관련 특징에 더 집중할 수 있도록 돕고, 자연스러운 인간 자세의 재구성을 가능하게 합니다. 또한, 우리는 진행적인 주의 마스킹(progressive attention masking)을 적용하여 심각한 가림 현상 하에서도 정점을 중심으로 한 국소적 상호작용을 정확히 추정할 수 있습니다. 벤치마크 데이터셋에 대한 실험 결과는 제안된 방법이 3D 인간 메시 재구성 성능을 효율적으로 개선함을 보여줍니다. 코드와 모델은 공개적으로 이용 가능하며, 다음 링크에서 확인할 수 있습니다: https://github.com/DCVL-3D/PointHMR_release.주요 용어 번역 참고:- RGB 이미지: RGB 이미지- 메시 (mesh): 메시- 트랜스포머 (transformer): 트랜스포머- 그래프 모델 (graph model): 그래프 모델- 특징 (feature): 특징- 인코딩 (encoding): 인코딩- 투영 결과 (projection result): 투영 결과- 지상 진리 (ground truth): 지상 진리- 샘플링 (sampling): 샘플링- 임베디드 공간 (embedded space): 임베디드 공간- 주의 마스킹 (attention masking): 주의 마스킹- 가림 현상 (occlusion): 가림 현상- 벤치마크 데이터셋 (benchmark dataset): 벤치마크 데이터셋