ASteISR: 単一画像の超解像事前学習モデルを効率的なステレオ画像の超解像に適応させる

低レベル視覚タスクにおける事前学習から微調整のパラダイムの進歩にもかかわらず、事前学習モデルのサイズが増大することによるメモリ使用量や学習時間に関する課題が依然として存在しています。また、直接的に単一画像用の事前学習済みモデルを多画像ドメインに適用した場合、満足のいく結果を得られないという問題もしばしば見られます。本論文では、パラメータ効率的な微調整（PEFT）手法を用いて、事前学習済みの単一画像超解像（SISR）トランスフォーマーネットワークをステレオ画像超解像（SteISR）ドメインへ転移する効率的な方法を提案します。具体的には、ステレオアダプターと空間アダプターという概念を導入し、これらを事前学習済みのSISRトランスフォーマーネットワークに組み込みます。その後、事前学習済みのSISRモデルは固定され、ステレオデータセットを使用してアダプターのみを微調整することが可能となります。この訓練手法により、Flickr1024データセットにおいてステレオ画像の精度推定能力が0.79dB向上しました。本手法では元のモデルパラメータの4.8%のみを訓練することで、4つの一般的なSteISRベンチマークで最先端の性能を達成しています。完全微調整アプローチと比較すると、本手法は訓練時間を57%削減し、メモリ消費量も15%削減しています。