HyperAIHyperAI

Command Palette

Search for a command to run...

長尾学習における基礎モデル:重いファインチューニングは悪影響を及ぼす

Jiang-Xin Shi; Tong Wei; Zhi Zhou; Jie-Jing Shao; Xin-Yan Han; Yu-Feng Li

概要

長尾学習タスクの解決における微調整(ファインチューニング)パラダイムは、基盤モデルの出現以来、大きな関心を集めています。しかし、微調整が長尾学習の性能にどのように影響を与えるかは明確に定量的に評価されていませんでした。本論文では、重い微調整が尾クラスでの性能低下を引き起こす可能性があることを明らかにし、軽量な微調整の方が効果的であることを示しています。その理由は、重い微調整によって引き起こされるクラス間の一貫性の欠如に帰属されます。上記の観察に基づいて、適応的な軽量微調整により高速な予測とコンパクトなモデルを実現することを目指した低複雑度かつ高精度な長尾学習アルゴリズムLIFTを開発しました。実験結果は明確に示しており、最先端の手法と比較して訓練時間と学習されたパラメータが大幅に削減され、より正確な予測性能が得られることを確認しています。実装コードは https://github.com/shijxcs/LIFT で利用可能です。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています