要約
セマンティックセグメンテーション（SS）は、自動運転車や補助ナビゲーションなど、安全が重要な応用分野における屋外シーン認識において有望な技術である。しかし、従来のSSは主にRGB画像に基づいているため、複雑な屋外環境ではRGB画像が制約のない環境を完全に把握するための必要十分な情報次元を欠いているため、SSの信頼性が制限される。本研究では、予期せぬ障害物検出というシナリオを事前検討として設定し、マルチモーダル融合の必要性を実証した。その結果、本研究では、異なる光学センサから得られる補完的情報を活用するための効率的なアテンションブリッジ型融合ネットワーク、EAFNet（Efficient Attention-bridged Fusion Network）を提案する。具体的には、多様な材料の堅牢な表現に有効な光学特性を持つ偏光センシングを導入し、補足情報を得ることを検討した。単一ショット偏光センサを用いて、394枚のピクセル整合済みRGB-偏光画像から構成される、世界初のRGB-Pデータセットを構築した。包括的な実験により、EAFNetがRGBと偏光情報を効果的に融合できること、および他のセンサ組み合わせシナリオへの柔軟な適応性を持つことが示された。