深入解析递归语言模型:全维度技术剖析
递归语言模型(RLMs)正在长文本基准测试中展现出卓越性能,其核心在于解决了传统智能体架构的记忆与传输限制。现有方法如 ReAct 依赖预定义工具,而 CodeAct 虽允许编写代码,但仍需将结果从记忆中以文本形式逐字生成,易在长任务中出现信息丢失。RLM 通过引入 REPL(读写执行循环)环境,将大语言模型置于持久化的 Python 运行时中,利用变量而非上下文窗口存储中间状态,从而突破长度限制。 RLM 的工作方式类似 Jupyter 笔记本,模型可逐步读取、切片和分析海量数据,通过递归调用子代理处理复杂任务。主代理作为规划者,将大任务拆解为多个子任务,分配给不同子代理并行处理,子代理返回的不仅是文本,而是可直接引用的 Python 变量。这种设计避免了模型重复记忆大量内容,实现了任意长度的输出和精准的信息检索。 相比传统方法,RLM 具备显著优势。它允许模型主动选择关注内容,避免注意力分散;通过变量组合子代理结果,实现高效的信息聚合;同时利用 KV 缓存机制降低计算成本。作者指出,RLM 将大语言模型从被动的文本生成者转变为主动的编程执行者,能够更智能地规划任务流程。这一架构不仅提升了长文本处理能力,还为构建通用智能体提供了新范式,标志着 AI 从简单对话向复杂系统执行迈出了关键一步。相关论文及开源实现已发布,进一步推动了该技术的发展。
