摘要
在直接访问人类撰写的参考文本作为记忆的前提下，检索增强生成（retrieval-augmented generation）已在多种文本生成任务中取得了显著进展。由于更优质的记忆通常能促进更优的生成结果（我们将其定义为根本性问题）。传统的记忆检索方法通常基于选择与输入具有最高相似度的记忆内容，然而这种方法受限于固定语料库的质量，难以突破其固有的局限性。本文通过探索该根本性问题的对偶性——即更优的生成也能反过来促进更优质记忆的形成，提出了一种新颖的框架 SelfMem。该框架通过迭代地利用检索增强生成器构建无限扩展的记忆池，并借助记忆选择器从生成结果中挑选出最合适的输出作为下一轮生成的记忆，从而实现模型自身输出（即“自记忆”）的动态积累与利用。我们在三种不同的文本生成任务上评估了 SelfMem 的有效性：神经机器翻译、摘要生成（abstractive text summarization）以及对话生成，并在两种生成范式下进行测试：微调的小型模型与少样本大语言模型（few-shot LLM）。实验结果表明，该方法在 JRC-Acquis、XSum（ROUGE-1 达 50.3）和 BigPatent（ROUGE-1 达 62.9）三个数据集上均取得了四项任务的最先进性能，充分展示了自记忆机制在提升检索增强生成模型能力方面的巨大潜力。此外，本文对 SelfMem 框架中的各个组件进行了深入分析，识别出潜在瓶颈，并为未来的研究提供了有价值的见解与方向。