LiDARCap: LiDAR 포인트 클라우드를 활용한 장거리 마커리스 3D 인간 운동 캡처

기존의 동작 캡처 데이터셋은 주로 단거리 범위에 국한되어 있으며, 아직 장거리 응용에 부합하는 데에는 부족한 실정이다. 본 연구에서는 이러한 한계를 극복하기 위해 더 긴 거리에서 LiDAR를 활용하여 캡처한 새로운 인간 동작 캡처 데이터셋인 LiDARHuman26M을 제안한다. 본 데이터셋은 IMU 시스템을 통해 획득한 정확한 인간 동작 레이블과 동기화된 RGB 이미지를 포함하고 있다. 또한 LiDAR 포인트 클라우드 기반의 인간 동작 캡처를 위한 강력한 베이스라인 방법인 LiDARCap을 제시한다. 구체적으로, 먼저 PointNet++을 이용해 포인트의 특징을 인코딩하고, 시간적으로 인코딩된 특징을 계층적으로 통합하여 역운동학 솔버와 SMPL 최적화기를 활용해 자세를 추정한다. 정량적 및 정성적 실험 결과는 본 방법이 오직 RGB 이미지 기반 기술보다 우수함을 입증한다. 제거 실험을 통해 본 데이터셋이 도전적이고 향후 연구에 적합함을 확인하였다. 마지막으로, KITTI 데이터셋과 Waymo Open 데이터셋에서의 실험을 통해 본 방법이 다양한 LiDAR 센서 환경에 일반화될 수 있음을 확인하였다.