HyperAIHyperAI

Command Palette

Search for a command to run...

CACFNet:RGB-T都市シーン解析のためのクロスモーダルアテンションカスケード融合ネットワーク

Lu Yu Meixin Fang Shaohua Dong WuJie Zhou

概要

カラー・サーマル(RGB-T)都市シーン解析は近年、広範な関心を集めている。しかし、既存の多数のRGB-T都市シーン解析手法は、RGBとTの特徴間における情報補完性を十分に活用していない。本研究では、モダリティ間の補完情報を効果的に活用するため、クロスモーダル注意機構を用いた段階的融合ネットワーク(CACFNet)を提案する。本設計では、クロスモーダル注意融合モジュールが二つのモダリティから補完的な情報を抽出する。その後、段階的融合モジュールが、下位から上位へと多段階の特徴をデコードする。各ピクセルが属する領域のカテゴリにラベル付けされていることに着目し、ピクセルと領域の関係を探索する領域ベースのモジュールも提案する。さらに、従来の手法がピクセル単位の予測に対して単に交差エントロピー損失を用いるのに対し、本研究ではピクセル同士の関係を学習するための追加損失関数を導入する。二つのデータセットにおける広範な実験結果から、提案するCACFNetがRGB-T都市シーン解析において最先端の性能を達成することが示された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています