Achelous: 単眼カメラと4D mmWaveレーダーの融合に基づく高速統合水面上パノプティック認識フレームワーク

現在の様々なタスクに対する認識モデルは、無人表面船（Unmanned Surface Vehicles: USVs）においてモジュール形式で存在することが一般的であり、エッジデバイス上で並列に非常に遅く推論を行うため、認識結果とUSVの位置との間で非同期が生じ、自律航行の誤った決定を引き起こすことがあります。無人地上車（Unmanned Ground Vehicles: UGVs）と比較して、USVsの堅牢な認識技術は相対的に遅いペースで発展しています。さらに、現在の多タスク認識モデルの多くはパラメータ数が多く、推論速度が遅く、拡張性に乏しいという問題があります。これに対応するため、私たちはAchelousを提案します。これは単眼カメラと4D mmWaveレーダーの融合に基づいた低コストかつ高速な統一パンオプティック認識フレームワークであり、水面認識に特化しています。Achelousは視覚目標物の検出とセグメンテーション、走行可能領域セグメンテーション、水線セグメンテーションおよびレーダーポイントクラウドセグメンテーションの5つのタスクを同時に実行できます。また、Achelousファミリーのモデルは約500万パラメータ未満で構成されており、NVIDIA Jetson AGX Xavier上では約18 FPSを達成し、HybridNetsより11 FPS速く、私たちが収集したデータセットではYOLOX-TinyとSegformer-B0よりも約5 mAP$_{\text{50-95}}$および0.7 mIoU高い性能を示します。特に悪天候や暗い環境下、カメラ故障時において優れた性能を発揮します。当該研究では、Achelousが視覚レベルとポイントクラウドレベルのタスクを組み合わせた最初の包括的なパンオプティック認識フレームワークであることが確認されています。知的輸送コミュニティの発展促進のために、我々はコードを \url{https://github.com/GuanRunwei/Achelous} にて公開しています。