要約
本論文では、ペアのRGB画像と熱画像を利用した新しいガラスセグメンテーション手法を提案します。可視光と熱エネルギーのガラス透過特性に大きな違いがあるため（ほとんどのガラスは可視光に対して透明ですが、熱エネルギーに対して不透明）、シーン内のガラス領域は単独のRGB画像よりもRGB画像と熱画像のペアを使用することでより明確に区別できます。この独自の特性を活用するために、我々は新たなマルチモーダル融合モジュール（attentionに基づく）を導入し、CNNとトランスフォーマーを組み合わせて局所的な特徴量と非局所的な依存関係をそれぞれ抽出するニューラルネットワークアーキテクチャを提案します。また、5551枚のRGB-熱画像ペアと真値セグメンテーション注釈を含む新たなデータセットを収集しました。定性的および定量的な評価結果は、提案手法がRGBデータと熱データの融合によるガラスセグメンテーションにおいて有効であることを示しています。我々のコードとデータセットは、https://github.com/Dong-Huo/RGB-T-Glass-Segmentation で公開されています。