ラベル監視下におけるLLaMAのファインチューニング

近年、大規模言語モデル（LLM）の成功は、学術界および産業界において大きな注目を集めている。オープンソースのLLMのゼロショットおよびフェイショット一般化能力を向上させるために、多数の努力がなされている。現在、主流となっているアプローチはインストラクションチューニングであり、自然言語による指示に従って応答を生成することで、実世界のタスクを遂行できるようにLLMを訓練する手法である。しかしながら、このアプローチは系列やトークン分類タスクにおいては性能が劣ることがある。テキスト生成タスクとは異なり、分類タスクは限られたラベル空間を持つため、多様で人間らしい応答を生成することよりも、正確なラベル予測が重視されるべきである。既存の研究では、インストラクションチューニングされたLLMがBERTを上回ることができないことが明らかにされており、これにより、LLMから得られる潜在表現を活用して教師ラベル予測を行う可能性に着目した。本論文では、判別的ラベルを用いたラベル監督型適応（label-supervised adaptation）を提案する。このアプローチは、ラベル情報に基づいてモデルを微調整することを目的としている。我々は、LLaMA-2-7Bという比較的小規模なLLMを基盤として、Label Supervised LLaMA（LS-LLaMA）を構築し、単一のGeForce RTX4090 GPU上で微調整が可能であることを示した。LS-LLaMAは、最終層のLLaMAから潜在表現を抽出し、それをラベル空間に射影して交差エントロピー損失を計算する。この損失を最小化するために、低ランク適応（LoRA）を用いてモデルを微調整する。特に、複雑なプロンプト設計や外部知識を用いずに、LS-LLaMAはサイズが10倍大きなLLMを大きく上回り、BERT-LargeやRoBERTa-Largeといった強力なベースラインと比較して、テキスト分類タスクにおいて一貫した性能向上を達成した。さらに、デコーダーから因果マスク（causal mask）を削除したLS-unLLaMAは、名前付きエンティティ認識（NER）において最先端の性能を達成した。本研究は、さまざまな下流タスクにLLMを適応させるための新たなアプローチを示唆するものである。