HyperAIHyperAI

Command Palette

Search for a command to run...

暗黙的マルチスペクトルトランスフォーマー:軽量かつ効果的な可視光から赤外線画像変換モデル

Yijia Chen Pinghua Chen Xiangxin Zhou Yingtie Lei Ziyang Zhou Mingxian Li

概要

コンピュータビジョン分野において、可視光画像は低照度条件下で低コントラストになりがちであり、大きな課題となっている。一方、赤外線画像はその解決策となる可能性を秘めているが、その利用には高コストと実用上の制約が伴う。近年、生成対抗ネットワーク(GAN)を活用した深層学習の進展により、可視光画像から赤外線画像への変換が可能になった。しかし、これらの手法はしばしば安定した学習プロセスを維持できず、不十分な出力が得られることがある。こうした問題に対処するため、本研究では、可視光画像を高忠実度の赤外線画像へと効率的に変換するエンドツーエンド型のTransformerベースモデルを提案する。本モデルでは、まずテクスチャマッピングモジュールとカラーパーセプションアダプタが協働して可視光画像からテクスチャおよび色の特徴を抽出する。次に、ダイナミックフュージョンアグリゲーションモジュールがこれらの特徴を統合する。最後に、カラーパーセプションアダプタと強化されたパーセプションアテンション機構の協働作用により、赤外線画像への変換が精緻化される。包括的なベンチマーク実験の結果、本モデルは既存手法を上回り、定性的・定量的に優れた品質の赤外線画像を生成することが確認された。さらに、本モデルは他の手法に比べて、赤外線画像を用いた下流タスクへの応用をより効果的に可能にする。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています