GOLD: Out-of-Distribution-Guided 言語データ生成による汎用的な知識蒸留

大規模言語モデル（LLM）からの知識蒸留は、言語モデルの効率的な展開に不可欠です。これまでの研究では、蒸留モデルの準備のためにLLMを使用したデータ生成が提案されてきました。しかし、我々はLLMによるデータ生成が主に元のコンテンツ分布の中核部分からサンプリングされる傾向があると指摘します。この制約により、蒸留モデルは真の基礎となるデータ分布を学習することができず、分布の尾部（低い確率を持つサンプル）を忘れる可能性があります。これを解決するために、我々はGOLDというタスク非依存型のデータ生成および知識蒸留フレームワークを提案します。GOLDは、反復的な外れ値分布ガイドフィードバックメカニズムを用いてLLMを活用します。その結果、生成されたデータは蒸留モデルの汎化能力を向上させます。また、ノイジーな生成データに対処するためのエネルギーに基づく外れ値検出手法も導入されています。我々が10種類の分類および系列対系列タスクで行った広範な実験では、GOLDが従来の手法とLLMに対してそれぞれ平均5%と14%の改善を示しました。さらに、提案手法が未探索または新しいタスクにも適用可能であることを示す予定です。コードは公開されています。科技/学术术语处理：大規模言語モデル (Large Language Models, LLMs)知識蒸留 (Knowledge Distillation)タスク非依存型 (Task-agnostic)外れ値分布ガイドフィードバックメカニズム (Out-of-Distribution-guided Feedback Mechanism)汎化能力 (Generalizability)エネルギーに基づく外れ値検出手法 (Energy-based Out-of-Distribution Evaluation Approach)