LiDARCap: Long-range marker-less 3D Human Motion Capture mit LiDAR-Punktwolken

Bekannte Motion-Capture-Datensätze sind größtenteils auf kurze Reichweiten beschränkt und können die Anforderungen langreichweitenbasierter Anwendungen bisher nicht erfüllen. Wir stellen LiDARHuman26M vor, einen neuen Human-Motion-Capture-Datensatz, der mit LiDAR auf deutlich größerer Reichweite erfasst wurde, um diese Einschränkung zu überwinden. Unser Datensatz umfasst zudem die Ground-Truth-Motiondaten, die mittels eines IMU-Systems erfasst wurden, sowie synchronisierte RGB-Bilder. Darüber hinaus präsentieren wir eine leistungsstarke Baseline-Methode, LiDARCap, für die Menschmotionserfassung aus LiDAR-Punktwolken. Konkret nutzen wir zunächst PointNet++ zur Merkmalsextraktion aus den Punkten und wenden anschließend einen inversen Kinematik-Löser sowie einen SMPL-Optimierer an, um die Körperpose durch hierarchische Aggregation zeitlich kodierter Merkmale zu schätzen. Quantitative und qualitative Experimente zeigen, dass unsere Methode Techniken, die ausschließlich auf RGB-Bildern basieren, übertrifft. Ablationsstudien belegen, dass unser Datensatz herausfordernd ist und weiterer Forschung wert ist. Schließlich zeigen Experimente auf dem KITTI-Datensatz und dem Waymo Open Dataset, dass unsere Methode auf verschiedene LiDAR-Sensor-Konfigurationen verallgemeinert werden kann.