16日前

特異値微調整:少量サンプルセグメンテーションには少量パラメータの微調整が必要

Yanpeng Sun, Qiang Chen, Xiangyu He, Jian Wang, Haocheng Feng, Junyu Han, Errui Ding, Jian Cheng, Zechao Li, Jingdong Wang
特異値微調整:少量サンプルセグメンテーションには少量パラメータの微調整が必要
要約

事前学習されたバックボーンの凍結は、少数ショットセグメンテーションにおいて過学習を回避するための標準的な手法として広く採用されている。本論文では、この従来のアプローチを再考し、新たなアプローチを提案する:バックボーンのパラメータの一部のみを微調整するという新たな枠組みである。本研究では、過学習問題を克服するための手法を提示し、新規クラスの学習におけるモデルの汎化性能を向上させる。提案手法は、特異値分解(Singular Value Decomposition; SVD)を用いてバックボーンのパラメータを3つの連続する行列に分解し、その中で特異値のみを微調整し、他の部分は固定する。この設計により、新規クラスに対する特徴表現の調整が可能となる一方で、事前学習されたバックボーン内に保持された意味的ヒントを維持できる。我々の「特異値微調整(Singular Value Fine-tuning; SVF)」手法は、異なるバックボーンを用いた多様な少数ショットセグメンテーション手法に対して評価された結果、1ショットおよび5ショット設定の両方において、Pascal-5$^i$およびCOCO-20$^i$のベンチマークで最先端の性能を達成した。本研究のシンプルなベースラインが、少数ショット設定におけるバックボーン微調整の役割を再考する研究者たちの関心を喚起することを期待している。ソースコードおよびモデルは、https://github.com/syp2ysy/SVF にて公開される予定である。

特異値微調整:少量サンプルセグメンテーションには少量パラメータの微調整が必要 | 最新論文 | HyperAI超神経