LiDARCap：LiDARポイントクラウドを用いた長距離マーカーレス3D人体運動捕捉

既存のモーションキャプチャデータセットは主に短距離を対象としており、長距離用途に応じた要件を満たすには至っていません。本研究では、この課題を克服するため、長距離でLiDARを用いて取得された新しい人体モーションキャプチャデータセット「LiDARHuman26M」を提案します。本データセットは、IMUシステムにより取得された真値の人体運動データおよび同期したRGB画像も含んでいます。さらに、LiDAR点群を用いた人体モーションキャプチャの強力なベースライン手法「LiDARCap」を提示します。具体的には、まずPointNet++を用いて点群の特徴を符号化し、その後、時系列的に符号化された特徴を階層的に統合することで、逆運動学ソルバおよびSMPL最適化手法を用いて姿勢を回帰するアプローチを採用しています。定量的および定性的な実験の結果から、本手法は単一RGB画像に基づく手法を上回ることが示されました。アブレーション実験により、本データセットが高い難易度を持ち、今後の研究に価値があることが確認されました。最後に、KITTIデータセットおよびWaymo Openデータセットにおける実験結果から、本手法が異なるLiDARセンサ設定に対しても汎用性を有することが示されました。