「2700万パラメータでo3とClaudeを凌駕、清华大生が開発したHRMの真価」

00后清华学子开发新型Transformer模型HRM、参数量仅为2700万 中国清华大学的一批年轻研究团队近期推出了新的Transformer模型——HRM（Hierarchical Recurrent Memory）。这一模型凭借2700万个参数，超越了现有大型语言模型如o3和Claude，在计算资源有限的情况下实现了高性能。 HRM的主要特点在于其图灵完备性。与早期的Transformer模型不同，HRM能够在限定的内存和时间约束下执行复杂的计算，这是因为它成功地解决了早期神经网络结构在训练过程中常见的数据收集问题和时间反向传播算法中的依赖问题。此外，HRM的设计还能够适应实际应用中的多种图灵机模型，提升了模型的实用价值。 研究团队引入了一种新颖的思维链机制，以强化学习为主要训练方法，这种机制不仅释放了现有的类思维链能力，而且发现了全新的推理机制。相比之下，传统的思维链训练存在不稳定性和数据低效性问题，通常需要大量的搜索和精细的奖励设计。而HRM通过密集的监督信号获取反馈，无需依赖复杂的奖励机制，使每个token的处理更加高效和动态。 这些成果显著展示了HRM在通用计算和推理系统方面的潜力，受到了学术界和工业界的广泛关注。相关的研究资料可以在以下网站查看： - Google Scholar - Guan Wang - Austin Zhang - arXiv论文 运营/编辑：何晓龙