CriSPO: テキスト生成のための多面的批判・提案ガイドによる自動プロンプト最適化

既存の自動プロンプトエンジニアリング手法は、通常、判別タスク向けに設計されており、新しいタスクプロンプトが単一の指標（特定の側面を反映）からの限定的なフィードバックに基づいて反復的に改良されます。しかし、これらのアプローチは生成タスクには最適ではなく、生成テキストの複数の側面を改善し、最適化するためには単一の数値指標を超えたより洗練されたガイダンスが必要です。これらの課題に対処するために、我々は新たな多面的な批判・提案ガイド付き自動プロンプト最適化（CriSPO）手法を提案します。CriSPOは、その核心部分として批判・提案モジュールを導入しています。このモジュールは自発的に側面を発見し、生成テキストと参照テキストをこれらの側面で比較し、プロンプト修正の具体的な提案を行います。これらの明確な批判と実行可能な提案により、受容性のある最適化モジュールがより本質的な変更を行い、より広範で効果的な探索空間を探求することができます。さらに、CriSPOを多指標最適化で向上させるために、自動サフィックス調整（AST）拡張機能を導入しました。ASTはタスクプロンプトの性能を複数の指標で向上させることを目指しています。我々は4つの最先端の大規模言語モデル（LLM）と4つの要約データセットおよび5つのQAデータセットを使用してCriSPOを評価しました。広範な実験結果から、要約ではROUGEスコアが3-4%向上し、QAでは様々な指標において大幅な改善が確認されました。コードは以下のURLから入手可能です: https://github.com/amazon-science/crispo