
私たちは、大規模言語モデル(LLM)のプロンプト設計における従来の常識に挑戦する新しいパラダイムを提案します。従来の常識では、コンテキスト内学習(In-Context Learning: ICL)のために丁寧に作成された指示とデモンストレーションが重視されていますが、私たちはランダムなデモンストレーションを無意味な「ゴミ文字列」に剪定することで、多様なタスクにおいて性能が著しく向上することを示しています。特に、「ゴミ文字列」は常に最先端の自動プロンプト最適化技術と同等かそれ以上であり、LLMのアライメントに関わらず大幅な改善を達成しています。しかし、効果的な剪定戦略を見つけることは容易ではありません。既存の帰属方法やプロンプト圧縮アルゴリズムは堅牢な結果を提供できず、ましてや人間の直感に基づくものではありません。この点について、私たちは自己発見型プロンプト最適化フレームワークであるPromptQuineを提案します。これは進化的探索フレームワークで、低データ環境下でのみ使用して自動的に剪定戦略を探し出すことができます。自然界における資源制約に対する反応として現れる共生や自己組織化などの複雑性と同様に、私たちのフレームワークはコンテキスト内のトークンのみを使用して、非伝統的でありながら非常に効果的なプロンプトを進化させ、洗練させていきます。私たちはPromptQuineの有効性を分類、選択肢問題解答、生成および数学的推論タスクなど多様なLLMタスクで実証し、十分な実行時間効率も達成しました。本研究を通じて得られた知見がインコンテキスト学習に関する機械論的研究に道筋をつけられることを願っています。また、よりオープンエンドな探索アルゴリズムを開発し、より効果的なLLMプロンプト設計につながるよう呼びかけるものです。