階層的な情報フローによる一般化された効率的な画像復元

ビジョントランスフォーマーは、多数の画像修復（IR）タスクにおいて有望な結果を示していますが、複数のIRタスクに対して効率的に一般化し、スケーリングアップするという課題が残っています。効率とモデル容量のバランスを取りながら、一般的なトランスフォーマーに基づくIR手法を実現するために、我々は「Hi-IR」と名付けられた階層的な情報伝播メカニズムを提案します。Hi-IRは、画素間で下位から上位へと段階的に情報を伝播させる方法を採用しています。Hi-IRは、劣化した画像を3つのレベルにわたる階層的な情報ツリーとして構築します。各レベルでは異なる種類の情報がカプセル化され、上位レベルでは広範な物体や概念が、下位レベルでは局所的な詳細に焦点が当てられます。さらに、階層的なツリー構造により長距離自己注意機構が削除され、計算効率とメモリ利用が改善されるため、効果的なモデルスケーリングへの準備が整います。この基础上で、我々はモデルスケーリングを探求し、大規模トレーニング設定におけるIRの能力向上につなげることを目指しています。広範囲にわたる実験結果から、Hi-IRは7つの一般的な画像修復タスクにおいて最先端の性能を達成しており、その有効性と一般化能力が確認されています。