evolving prompts in-context: 一种开放式的、自我复制的视角

我们提出了一种新的提示设计范式，挑战了大型语言模型（LLM）提示中的传统观念。传统观念强调在上下文学习（ICL）中精心设计的指令和示例的重要性，而我们的研究表明，将随机示例修剪为看似不连贯的“胡言乱语”可以显著提高各种任务的性能。值得注意的是，“胡言乱语”始终能够匹配甚至超越最先进的自动提示优化技术，在不依赖LLM对齐的情况下实现了显著的性能提升。然而，发现有效的修剪策略并非易事，现有的归因方法和提示压缩算法无法提供稳健的结果，更不用说人类的直觉了。为此，我们提出了一种自我发现的提示优化框架——PromptQuine，这是一种进化搜索框架，能够在低数据环境下自动搜索修剪策略。就像自然界中资源约束下涌现的复杂性——例如共生和自组织——一样，我们的框架通过利用上下文中现有的标记来进化和精炼非常规但高效的提示。我们在分类、多项选择问答、生成和数学推理等多种任务上验证了其有效性，并且在运行时效率方面也表现出色。我们希望这些发现能够指导关于上下文学习的机制研究，并呼吁采取行动，为开发更开放式的搜索算法以实现更有效的LLM提示铺平道路。