野生環境下での歩行認識と高密度3D表現およびベンチマーク

既存の歩行認識に関する研究は、制約のあるシーンにおける人間のシルエットや骨格などの2D表現に主導されています。しかし、人間は自由な3次元空間で生活し、歩きます。そのため、3次元の人間の身体を2次元平面上に投影すると、視点、形状、動態などの歩行認識にとって重要な情報を多く失います。本論文では、実用的でありながら無視されてきた問題である野外での密な3D表現による歩行認識を探求することを目指しています。特に、人間の身体の3D Skinned Multi-Person Linear (SMPL) モデルを用いて歩行認識を行う新しいフレームワークを提案します。このフレームワークは「SMPLGait」と名付けられ、シルエットから外観特徴を抽出するブランチと、3D SMPLモデルから3次元視点と形状に関する知識を学習するブランチという2つの巧妙に設計された部分を持っています。また、適切なデータセットが不足しているため、初めての大規模な3D表現に基づく歩行認識データセット「Gait3D」を構築しました。このデータセットには4,000人の被験者と39台のカメラから抽出された25,000以上のシークエンスが含まれており、制約のない屋内シーンで収集されました。さらに重要なのは、ビデオフレームから復元した3D SMPLモデルが提供されていることです。これにより身体形状、視点、動態に関する密な3次元情報が得られます。Gait3Dに基づき、我々は既存の歩行認識手法との包括的な比較を行い、その結果我々のフレームワークの優れた性能と野外での3次元表現による歩行認識の潜在力を示しています。コードとデータセットはhttps://gait3d.github.ioで公開されています。