効率的な劣化適応を用いた任意のモデルの復元

モバイルデバイスの普及に伴い、任意の劣化画像を効率的に復元するモデルの必要性がますます重要かつ影響力を持つようになっています。従来の手法は、通常、各特定の劣化に対して専用のモデルを学習させることが求められており、これにより非効率性と冗長性が生じています。最近の解決策では、視覚的なプロンプトを学習するための追加モジュールを導入することでモデルサイズが大幅に増大するか、あるいは大量データセットで学習された大規模言語モデルからのクロスモーダル転送を組み込むことでシステムアーキテクチャが複雑化することがあります。対照的に、我々の手法であるRAM（Restoration-Aware Model）は、さまざまな劣化間での内在的な類似性を活用し、単一のパスで効率的かつ包括的な復元を実現します。これはジョイント埋め込みメカニズムを通じて行われますが、モデルのスケーリングや大規模マルチモーダルモデルへの依存を必要としません。具体的には、各入力の部分潜在空間を検討し、主要な成分を見つけ出し、ゲート制御によって重み付けを行います。この内在的な劣化認識はさらにX字型フレームワークにおける文脈化された注意機構と組み合わさることで、局所-全局相互作用が強化されます。包括的な復元設定における広範なベンチマーク評価により、RAMはSOTA（State-of-the-Art）性能を確認しており、学習可能なパラメータ数では約82%、FLOPs（Floating Point Operations per Second）では約85%のモデル複雑度削減を達成しています。我々のコードおよびモデルは公開される予定です。