シグマ：多モーダル意味分割のためのサイアミーズマンバネットワーク

多モーダル意味分割は、特に低照度や過露出などの悪条件において、AIエージェントの知覚とシーン理解を大幅に向上させます。従来のRGBに加えて熱画像（thermal）や深度情報を活用することで、補完的な情報を提供し、より堅牢で信頼性の高い予測が可能になります。本研究では、先進的なMambaを用いた多モーダル意味分割向けのシアム・マンバネットワークであるSigmaを提案します。従来のCNN（畳み込みニューラルネットワーク）が局所受容野に制限されているか、またはViT（ビジョントランスフォーマー）が二次複雑性を伴うグローバル受容野を提供するのとは異なり、当モデルは線形複雑性でグローバル受容野を実現します。シアムエンコーダーを使用し、Mambaに基づく融合機構を革新することで、異なるモーダルから重要な情報を効果的に選択します。その後、チャンネル方向でのモデリング能力を向上させるためのデコーダーを開発しました。提案手法はRGB-熱画像およびRGB-深度情報の意味分割タスクにおいて厳密に評価され、その優位性が示されました。これは状態空間モデル（SSMs）が多モーダル知覚タスクに初めて成功裏に適用された事例となります。コードはhttps://github.com/zifuwan/Sigma で公開されています。