HyperAIHyperAI

Command Palette

Search for a command to run...

MST++: 多段階スペクトル変換器による効率的なスペクトル再構成

Yuanhao Cai Jing Lin Zudi Lin Haoqian Wang Yulun Zhang Hanspeter Pfister Radu Timofte Luc Van Gool

概要

現行のスペクトル再構成(SR)における主要手法は、RGB画像からその高次元スペクトル画像(HSI)へのエンドツーエンドのマッピングを学習するため、より深いまたは広い畳み込みニューラルネットワーク(CNNs)の設計に焦点を当てています。これらのCNNベースの手法は優れた復元性能を達成していますが、長距離依存関係や自己相似性の事前情報を捉える点で制限があることが示されています。この問題に対処するために、私たちは効率的なスペクトル再構成のために新しいトランスフォーマーに基づく手法、マルチステージ スペクトルワイズ トランスフォーマー(MST++)を提案します。特に、HSIが空間的には疎であるがスペクトル的には自己相似性を持つという特性に基づいて、基本単位となるスペクトルワイズ マルチヘッド セルフアテンション(S-MSA)を使用します。その後、S-MSAから構成されるスペクトルワイズ アテンション ブロック(SAB)を用いて、多解像度コンテクスト情報を抽出するU字型構造を持つシングルステージ スペクトルワイズ トランスフォーマー(SST)を構築します。最後に、私たちのMST++は複数のSSTによって段階的に粗いレベルから細かいレベルへと再構成品質を向上させます。包括的な実験結果により、私たちのMST++が他の最先端手法よりも著しく優れていることが示されました。NTIRE 2022 スペクトル再構成チャレンジにおいて、私たちの手法は第1位を獲得しました。コードおよび事前学習済みモデルは公開されており、https://github.com/caiyuanhao1998/MST-plus-plus で入手可能です。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています