Alexia Jolicoeur-Martineau

摘要

层次化推理模型（Hierarchical Reasoning Model, HRM）是一种新颖的方法，采用两个小型神经网络以不同频率递归运行。这一受生物启发的策略在Sudoku、迷宫和ARC-AGI等高难度推理任务上超越了大型语言模型（LLMs），且仅使用参数量为2700万的小型模型，在约1000个样本的小规模数据上进行训练。HRM在利用小型网络解决复杂问题方面展现出巨大潜力，但其机制尚未被充分理解，且可能存在次优性。为此，我们提出了极简递归模型（Tiny Recursive Model, TRM），这是一种更为简洁的递归推理方法，其泛化能力显著优于HRM，同时仅依赖一个仅含两层的微型神经网络。TRM的参数量仅为700万，在ARC-AGI-1任务上达到45%的测试准确率，在ARC-AGI-2任务上达到8%，均高于多数大型语言模型（如Deepseek R1、o3-mini、Gemini 2.5 Pro），而参数量仅为这些模型的不足0.01%。