摘要
上下文学习（In-context Learning, ICL）在大型语言模型中已被证明是应对多种自然语言处理任务的有力方法。然而，如何选择最佳示例以实现ICL仍是一个极具挑战性的问题，因为实验结果会因示例的质量、数量和顺序而产生显著差异。本文以文本简化（Text Simplification, TS）任务为案例，系统研究了如何选择最优且最稳健的示例用于ICL。为此，我们提出了一种基于度量的上下文学习方法（Metric-Based in-context Learning, MBL），该方法利用文本简化任务中常用的评估指标，如SARI、压缩比（compression ratio）和BERT-Precision，来指导示例的选择。我们在多个规模的GPT模型（包括GPT-175B、GPT-13B和GPT-6.7B）上，针对TurkCorpus和ASSET等标准文本简化基准数据集进行了大量实验。结果表明，在大型模型（如GPT-175B）中，基于最高SARI得分选取的示例表现最佳；而在较小模型（如GPT-13B和GPT-6.7B）中，压缩比作为选择标准则通常更具优势。此外，我们验证了MBL方法在不同示例顺序和跨领域测试集上均表现出良好的鲁棒性，其性能显著优于多个强基线方法以及当前最先进的微调语言模型。最后，我们发现，通过选择不同的评估指标，可以隐式地调控大型GPT模型的行为模式。本研究为ICL中的示例选择提供了一个全新的框架，并在文本简化任务中验证了其有效性，为构建更准确、更高效的自然语言生成（NLG）系统开辟了新路径。