明示的な注意強化融合を用いたRGB-熱感知タスク

最近、RGB-熱画像に基づく認識技術は著しい進歩を遂げています。視覚カメラが低照度や霧などの悪条件下で機能しない場合、熱情報は有用な手がかりを提供します。しかし、RGB画像と熱データを効果的に融合する方法は依然として未解決の課題となっています。これまでの研究では、入力段階での単純な融合、モデル内の多モーダル特徴量の連結、または各データモーダルに対する注意機構の適用など、単純ながら十分でない融合戦略が提案されてきました。本論文では、それぞれのデータタイプの特性を最大限に活用する新しい融合手法である明示的注目強化融合（Explicit Attention-Enhanced Fusion: EAEF）を提案します。具体的には、以下のケースを考えます：i) RGBデータと熱データ両方がある場合、ii) どちらか一方のみがある場合、iii) いずれも識別的な特徴量を生成できない場合。EAEFはi) および iii) のための特徴抽出強化に一つのブランチを使用し、ii) の不足した表現を補完するために別のブランチを使用します。これらの2つのブランチの出力を融合して相補的な特徴量を作成します。その結果、提案された融合手法はセマンティックセグメンテーションにおけるmIoUで1.6%、サリエントオブジェクト検出におけるMAEで3.1%、オブジェクト検出におけるmAPで2.3%、群衆カウントにおけるMAEで8.1%という改善率を示し、最先端技術を上回りました。コードはhttps://github.com/FreeformRobotics/EAEFNet から入手可能です。