補完的なランダムマスキングによるRGB-熱画像のセマンティックセグメンテーション

RGB-thermalセマンティックセグメンテーションは、悪天候や照明条件下での信頼性の高いセマンティックシーン理解を達成するための一つの有望な解決策です。しかし、これまでの研究では多様性入力の特性に配慮せずに、主にマルチモーダル融合モジュールの設計に焦点が当てられてきました。その結果、ネットワークは単一のモーダリティに過度に依存しやすく、各モーダリティから補完的かつ意味のある表現を学習することが困難になっています。本論文では1) RGB-T画像に対する補完的なランダムマスキング戦略と2) クリーン入力とマスクされた入力モーダリティ間の自己蒸留損失を提案します。提案されたマスキング戦略は単一のモーダリティへの過度な依存を防ぎます。また、ネットワークが一部のモーダリティしか利用できない場合でも物体をセグメンテーションおよび分類できるようにすることで、精度と堅牢性を向上させます。さらに、提案された自己蒸留損失はネットワークが単一のモーダリティまたは補完的にマスクされたモーダリティから補完的かつ意味のある表現を抽出することを促進します。提案手法に基づき、3つのRGB-Tセマンティックセグメンテーションベンチマークで最先端の性能を達成しました。当該ソースコードはhttps://github.com/UkcheolShin/CRM_RGBTSegで公開されています。