HyperAIHyperAI

Command Palette

Search for a command to run...

ASteISR: 単一画像の超解像事前学習モデルを効率的なステレオ画像の超解像に適応させる

Yuanbo Zhou Yuyang Xue Wei Deng Xinlin Zhang Qinquan Gao Tong Tong

概要

低レベル視覚タスクにおける事前学習から微調整のパラダイムの進歩にもかかわらず、事前学習モデルのサイズが増大することによるメモリ使用量や学習時間に関する課題が依然として存在しています。また、直接的に単一画像用の事前学習済みモデルを多画像ドメインに適用した場合、満足のいく結果を得られないという問題もしばしば見られます。本論文では、パラメータ効率的な微調整(PEFT)手法を用いて、事前学習済みの単一画像超解像(SISR)トランスフォーマーネットワークをステレオ画像超解像(SteISR)ドメインへ転移する効率的な方法を提案します。具体的には、ステレオアダプターと空間アダプターという概念を導入し、これらを事前学習済みのSISRトランスフォーマーネットワークに組み込みます。その後、事前学習済みのSISRモデルは固定され、ステレオデータセットを使用してアダプターのみを微調整することが可能となります。この訓練手法により、Flickr1024データセットにおいてステレオ画像の精度推定能力が0.79dB向上しました。本手法では元のモデルパラメータの4.8%のみを訓練することで、4つの一般的なSteISRベンチマークで最先端の性能を達成しています。完全微調整アプローチと比較すると、本手法は訓練時間を57%削減し、メモリ消費量も15%削減しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています