HyperAIHyperAI

Command Palette

Search for a command to run...

補完的なランダムマスキングによるRGB-熱画像のセマンティックセグメンテーション

Ukcheol Shin; Kyunghyun Lee; In So Kweon; Jean Oh

概要

RGB-thermalセマンティックセグメンテーションは、悪天候や照明条件下での信頼性の高いセマンティックシーン理解を達成するための一つの有望な解決策です。しかし、これまでの研究では多様性入力の特性に配慮せずに、主にマルチモーダル融合モジュールの設計に焦点が当てられてきました。その結果、ネットワークは単一のモーダリティに過度に依存しやすく、各モーダリティから補完的かつ意味のある表現を学習することが困難になっています。本論文では1) RGB-T画像に対する補完的なランダムマスキング戦略と2) クリーン入力とマスクされた入力モーダリティ間の自己蒸留損失を提案します。提案されたマスキング戦略は単一のモーダリティへの過度な依存を防ぎます。また、ネットワークが一部のモーダリティしか利用できない場合でも物体をセグメンテーションおよび分類できるようにすることで、精度と堅牢性を向上させます。さらに、提案された自己蒸留損失はネットワークが単一のモーダリティまたは補完的にマスクされたモーダリティから補完的かつ意味のある表現を抽出することを促進します。提案手法に基づき、3つのRGB-Tセマンティックセグメンテーションベンチマークで最先端の性能を達成しました。当該ソースコードはhttps://github.com/UkcheolShin/CRM_RGBTSegで公開されています


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています