Command Palette
Search for a command to run...
交替「生成 – 擦除」的深度思考范式 PENCIL
日期
4 个月前
交替「推理 – 擦除」的深度思考新范式(PENCIL ENables Context-efficient Inference and Learning,简称 PENCIL)是由丰田工业大学芝加哥分校的博士生杨晨晓及其团队于 2025 年 3 月提出的,相关研究成果发表于论文「PENCIL: Long Thoughts with Short Memory」,该工作已被 ICML 2025 收录。
PENCIL 旨在让大模型在生成的过程中动态擦除中间不需要的结果,直到得到最后的答案。其设计借鉴了逻辑学与经典自动定理证明中的重写规则(Rewriting Rule 和函数式编程语言中的栈帧内存管理(Stack Frame)。 PENCIL 可以通过模拟具有最佳时间和空间复杂度的图灵机来执行通用的空间高效计算,从而可以解决在上下文窗口约束下难以解决的任意计算任务。