HyperAI超神经
18 days ago

ProtoReasoning:原型作为LLM中可泛化推理的基础

Feng He, Zijun Chen, Xinnian Liang, Tingting Ma, Yunqi Qiu, Shuangzhi Wu, Junchi Yan
ProtoReasoning:原型作为LLM中可泛化推理的基础
摘要

近期在使用长链思维(Long Chain-of-Thought, Long CoT)推理训练的大规模推理模型(Large Reasoning Models, LRMs)方面取得了显著进展,这些模型展示了出色的跨域泛化能力。然而,支持这种迁移的底层机制仍不甚明了。我们假设,跨域泛化能力源于共享的抽象推理原型——这些基本的推理模式捕捉了不同领域问题的本质。这些原型减少了表示中的细微差异,揭示了看似多样化的任务实际上基于相同的推理结构。基于这一假设,我们提出了ProtoReasoning框架,该框架通过利用可扩展且可验证的原型表示(如逻辑推理中的Prolog和规划中的PDDL)来增强大规模语言模型(LLMs)的推理能力。ProtoReasoning的主要特点包括:(1) 自动化的原型构建管道,可以将问题转化为相应的原型表示;(2) 全面的验证系统,通过Prolog/PDDL解释器提供可靠的反馈;(3) 在原型空间内任意合成问题的能力,同时确保正确性。广泛的实验表明,ProtoReasoning在逻辑推理(Enigmata-Eval)上比基线模型提高了4.7%,在规划任务上提高了6.3%,在一般推理(MMLU)上提高了4.0%,在数学(AIME24)上提高了1.0%。尤为重要的是,我们的消融研究证实,在原型空间中学习相比仅在自然语言表示上进行训练,能够更好地泛化到结构相似的问题上,这验证了我们的假设,即推理原型是大规模语言模型实现泛化推理的基础。