Xiaolong Wei Bo Lu Xingyu Zhang Zhejun Zhao Dongdong Shen Long Xia Dawei Yin

要約

大規模言語モデル（LLMs）は、驚異的な創造的執筆能力を示している一方で、その膨大な計算リソースの要請が広範な利用を阻害している。これに対し、小規模言語モデル（SLMs）の性能向上は有望な代替手段であるが、従来の手法である教師あり微調整（SFT）は新規性に欠けやすく、人間フィードバックからの強化学習（RLHF）はコストが高くなる。本研究では、AIフィードバックからの強化学習（RLAIF）フレームワーク内において、創造的執筆を促進するための2つの異なるAI駆動型報酬戦略を検討した。対象とするのは70億パラメータのSLMであり、特に中国語の挨拶生成に焦点を当てている。第一の戦略は、創造的タスクに特化した新しいマルチエージェント拒否採択フレームワークにより収集された高品質な好みデータで訓練された報酬モデル（RM）を用いるものである。第二の戦略は、より革新的なアプローチであり、原則に基づくLLM-as-a-Judgeを採用し、反映機構を有する敵対的訓練スキームにより報酬関数を最適化することで、直接的な報酬信号を提供するものである。包括的な実験の結果、両方のアプローチともベースラインに比べて創造的出力を顕著に向上させることが明らかになったが、原則に基づくLLM-as-a-Judgeは特に優れた生成品質を示した。さらに、訓練効率の向上と人間によるラベル付けデータへの依存度の低減という顕著な利点も確認された。これは、創造的SLMの開発に向けたよりスケーラブルかつ効果的な道筋を示している。また、当研究で提案する自動評価手法も、人間の判断と強い整合性を示した。本研究のコードおよびデータは、以下のURLにて公開されている。