JRMOT：リアルタイム3Dマルチオブジェクトトラッカーと新しい大規模データセット

自律的に移動するロボットは、周囲の物体や他のエージェントの運動を認識し、追跡する能力が必要です。この情報により、堅牢かつ安全な経路計画と実行が可能になります。こうしたプロセスを支援するため、運動情報は3次元デカルト空間（3D Cartesian space）で認識されるべきです。しかし、近年の多対象追跡（Multi-Object Tracking: MOT）研究の多くは、2次元RGB動画シーケンスにおける人間や移動物体の追跡に焦点を当てています。本研究では、RGB画像と3次元点群情報を統合することで、リアルタイムかつ最先端の追跡性能を実現する新しい3D MOTシステム「JRMOT」を提案します。本システムは、再識別（re-identification）、2Dおよび3D検出、トラック記述に用いる最新のニューラルネットワークを、マルチモーダルな再帰的カルマン構造内に統合した統合確率的データアソシエーションフレームワークに基づいて構築されています。本研究の一環として、54の屋内・屋外シーンにまたがる200万個以上のボックスおよび3,500本の時系列的に整合した2D＋3Dトラジェクトリをアノテーション済みとした、新しい大規模な2D＋3Dデータセット「JRDB」を公開します。JRDBには、360度円筒形RGB動画と3D点群データを含む60分以上のデータが収録されており、社会的環境下でのロボット開発・学習・評価に用いられています。提示された3D MOTシステムは、代表的な2D追跡ベンチマーク「KITTI」において、既存手法と比較して最先端の性能を示し、本研究用ベンチマークにおける初の3D追跡ソリューションとしての意義を持っています。本システムを社会的ロボット「JackRabbot」に搭載した実機テストにより、複数の歩行者を高速かつ信頼性高く追跡可能であることが確認されました。本追跡器のROSコードは、https://sites.google.com/view/jrmot にて公開しています。