ロバストなマルチモダリティマルチオブジェクトトラッキング

マルチセンサ感知は自動運転システムにおける信頼性と精度を確保する上で不可欠であり、マルチオブジェクトトラッキング（MOT）は動的オブジェクトの連続的な運動を追跡することで、その性能をさらに向上させる。現行のマルチセンサ・マルチオブジェクトトラッキング手法の多くは、中心カメラなど単一の入力源に過度に依存しているため信頼性に欠ける、あるいは複数センサの結果を後処理で統合する方式であり、内在する情報を十分に活用していないため精度に限界がある。本研究では、汎用的なセンサ非依存型マルチモダリティMOTフレームワーク（mmMOT）を提案する。本フレームワークでは、各モダリティ（すなわちセンサ）が独立してその役割を果たすことで信頼性を維持しつつ、新たなマルチモダリティ統合モジュールを用いて精度をさらに向上させる。mmMOTはエンド・ツー・エンドで学習可能であり、各モダリティのベース特徴抽出器と、モダリティ間の隣接関係推定器を統合的に最適化できる。また、本研究はMOTのデータアソシエーションプロセスにおいて、点群データの深層表現を符号化する初めての試みである。提案フレームワークの有効性を、難易度の高いKITTIベンチマーク上で広範な実験を通じて評価し、最先端の性能を達成した。コードおよびモデルは、https://github.com/ZwwWayne/mmMOT にて公開されている。