要約

教師あり微調整（SFT）は、軽量な後処理ステップから中間訓練と匹敵する規模の計算集約型フェーズへと進化しつつある中、限られたリソース環境下で大規模言語モデル（LLM）の整合性を高めるためのデータ効率性がますます重要となっている。既存のデータプルーニング手法は、設計が断片化されており、サンプルレベルまたはトークンレベルのいずれかで独立して動作するため、両者の次元を統合的に最適化できないという課題を抱えている。この分断により、高価値のサンプルであっても冗長なトークンが含まれる場合があり、また、トークンレベルでのプルーニングは個々のサンプルに埋め込まれた重要な指導信号や修正信号を誤って削除するリスクが生じる。このボトルネックを解決するため、本研究では「誤差・不確実性（EU）平面」と呼ばれる診断フレームワークを提案する。このフレームワークは、サンプルおよびトークンの両次元にわたる訓練データの異質な有用性を統合的に評価できる。この知見を基に、サンプルプルーニングとトークンプルーニングを戦略的に統合する統一型フレームワーク「四分位微調整（Q-Tuning）」を提案する。Q-Tuningは二段階の戦略を採用する。第一段階では、情報量の多い誤解やキャリブレーション信号を含むサンプルを保持するためのサンプルレベルのトリアージを実施する。第二段階では、非対称なトークンプルーニング方針を適用し、誤解を含むサンプルから情報量が低いトークンを文脈に応じたスコアリング機構を用いて削除する一方で、キャリブレーション用サンプルは完全に保持する。本手法は、五つの多様なベンチマークにおいて新たな最良性能を達成した。特に、SmolLM2-1.7Bにおいて、元の訓練データの12.5％のみを用いても、全データSFTベースラインと比較して平均で+38％の性能向上を達成した。本手法は、初めて、全データ学習を一貫して上回る動的プルーニングアプローチとして実現し、リソース制約下におけるLLMのSFTにおけるデータ利用効率を最大化する実用的かつスケーラブルなフレームワークを提供する。