LiDAR-HMR: LiDAR로부터 3D 인간 메시 복원

최근 몇 년간 포인트 클라우드 인식 작업에 대한 관심이 점점 높아지고 있습니다. 본 논문은 희소 LiDAR 포인트 클라우드에서 3D 인간 체형 메시를 추정하는 첫 번째 시도를 제시합니다. 우리는 포인트 클라우드에서 인간의 자세와 메시를 추정하는 주요 난관이 LiDAR 포인트 클라우드의 희소성, 노이즈 및 불완전성에 있음을 발견했습니다. 이러한 도전에 대응하기 위해, 우리는 효과적인 희소-밀집 재구성 방안을 제안하여 3D 인간 체형 메시를 재구성합니다. 이는 인간의 희소 표현(3D 인간 자세)을 추정하고 점진적으로 체형 메시를 재구성하는 과정을 포함합니다. 포인트 클라우드의 3D 구조 정보를 더 잘 활용하기 위해, 우리는 단계적 그래프 트랜스포머(그래포머, graphormer)를 사용하여 희소-밀집 재구성 과정에서 포인트 클라우드 특징을 도입합니다. 세 개의 공개 데이터베이스에서 수행된 실험 결과는 제안된 접근법의 유효성을 입증하였습니다. 코드: https://github.com/soullessrobot/LiDAR-HMR/