HyperAIHyperAI

Command Palette

Search for a command to run...

特異値微調整:少量サンプルセグメンテーションには少量パラメータの微調整が必要

Yanpeng Sun Qiang Chen Xiangyu He Jian Wang Haocheng Feng Junyu Han Errui Ding Jian Cheng Zechao Li Jingdong Wang

概要

事前学習されたバックボーンの凍結は、少数ショットセグメンテーションにおいて過学習を回避するための標準的な手法として広く採用されている。本論文では、この従来のアプローチを再考し、新たなアプローチを提案する:バックボーンのパラメータの一部のみを微調整するという新たな枠組みである。本研究では、過学習問題を克服するための手法を提示し、新規クラスの学習におけるモデルの汎化性能を向上させる。提案手法は、特異値分解(Singular Value Decomposition; SVD)を用いてバックボーンのパラメータを3つの連続する行列に分解し、その中で特異値のみを微調整し、他の部分は固定する。この設計により、新規クラスに対する特徴表現の調整が可能となる一方で、事前学習されたバックボーン内に保持された意味的ヒントを維持できる。我々の「特異値微調整(Singular Value Fine-tuning; SVF)」手法は、異なるバックボーンを用いた多様な少数ショットセグメンテーション手法に対して評価された結果、1ショットおよび5ショット設定の両方において、Pascal-5i^iiおよびCOCO-20i^iiのベンチマークで最先端の性能を達成した。本研究のシンプルなベースラインが、少数ショット設定におけるバックボーン微調整の役割を再考する研究者たちの関心を喚起することを期待している。ソースコードおよびモデルは、https://github.com/syp2ysy/SVF にて公開される予定である。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています