Matthew Ho Chen Si Zhaoxiang Feng Fangxu Yu Zhijian Liu et al

摘要

尽管推理时的规模扩展使得大语言模型（LLMs）能够执行越来越长且能力更强的推理轨迹，但这些轨迹中揭示的模式与洞见在上下文窗口被重置以处理新查询后，随即被丢弃。外部记忆是一种自然的方式，可用于持久化这些发现。近期研究已表明，对于推理密集型任务，引入外部记忆具有显著优势。我们提出一个机会：通过超越基于实例的记忆条目（例如精确的查询/响应对，或与原始问题上下文紧密耦合的摘要），转向概念级记忆——即从解决方案轨迹中提炼出的、可复用的模块化抽象，并以自然语言形式存储。在后续查询中，相关概念将被选择性地检索并融入提示（prompt），从而实现无需权重更新的测试时持续学习。我们的设计引入了新的策略，用于从推理轨迹中抽象关键收获，并为新查询检索记忆条目，从而促进记忆的复用，并支持记忆随着新经验的积累而不断扩展。在具有挑战性的ARC-AGI基准测试中，我们的方法相较于一个强大的无记忆基线，实现了7.5%的相对性能提升，且性能随着推理计算资源的增加持续提升。我们发现，抽象概念是迄今为止最一致的记忆设计，在所有测试的推理计算规模下均优于基线。此外，我们验证了在测试时动态更新记忆的表现优于静态记忆设置（即使后者通过多次尝试进行补偿），这支持了一个核心假设：解决更多问题并将更多模式抽象为记忆，能够进一步促进新问题的求解，形成一种自我改进的机制。代码已公开，详见本文链接。