長尾学習における基礎モデル：重いファインチューニングは悪影響を及ぼす

長尾学習タスクの解決における微調整（ファインチューニング）パラダイムは、基盤モデルの出現以来、大きな関心を集めています。しかし、微調整が長尾学習の性能にどのように影響を与えるかは明確に定量的に評価されていませんでした。本論文では、重い微調整が尾クラスでの性能低下を引き起こす可能性があることを明らかにし、軽量な微調整の方が効果的であることを示しています。その理由は、重い微調整によって引き起こされるクラス間の一貫性の欠如に帰属されます。上記の観察に基づいて、適応的な軽量微調整により高速な予測とコンパクトなモデルを実現することを目指した低複雑度かつ高精度な長尾学習アルゴリズムLIFTを開発しました。実験結果は明確に示しており、最先端の手法と比較して訓練時間と学習されたパラメータが大幅に削減され、より正確な予測性能が得られることを確認しています。実装コードは https://github.com/shijxcs/LIFT で利用可能です。