密結合パラメータ効率的な調整による参照画像セグメンテーション

コンピュータビジョンの分野において、パラメータ効率的なチューニング（Parameter-Efficient Tuning: PET）が、従来の事前学習後にフルファインチューニングを行うパラダイムを徐々に置き換える傾向にある。PETは特に大規模な基盤モデルで有効であり、転移学習コストを削減し、ハードウェアの利用を最適化する。しかし、現在のPET手法は主に単一モーダルの最適化のために設計されており、一部の先駆的な研究では初期的な探索が行われているものの、未だアライメントされたエンコーダー（例：CLIP）にとどまっており、非アライメントされたエンコーダーへの探索が不足している。これらの手法は、ファインチューニング中にマルチモーダル特徴量を効果的にアライメントできないため、非アライメントエンコーダーでの性能が最適ではない。本論文では、DETRISというパラメータ効率的なチューニングフレームワークを提案する。DETRISは各層とそれ以前のすべての層との間で密接な相互接続を確立することで低ランク視覚特徴量の伝播を強化し、効果的なクロスモーダル特徴量相互作用と非アライメントエンコーダーへの適応を可能にする。また、テキストアダプターを使用してテキスト特徴量を改善することも提案する。当方の単純かつ効率的な手法は0.9%から1.8%のバックボーンパラメータ更新で最先端手法を大幅に上回り、困難なベンチマークでの評価でも優れた結果を示した。本プロジェクトは \url{https://github.com/jiaqihuang01/DETRIS} で公開されている。