成本仅67美分，小型Transformer在ARC-AGI-1得分44%

近日，一位独立研究者宣布在单张RTX 5090显卡上耗时一点五小时，从零训练出一个小型Transformer模型，在ARC-AGI-1基准测试中取得百分之四十四的成绩，超越众多主流大语言模型，且训练成本仅为零点六七美元。该成果已全面开源，旨在探索深度学习在样本效率方面的极限，并为AI研究降低算力门槛。相较于前期版本，本次优化重点在于架构与算法的改进。研究者摒弃了传统的无监督输入输出联合训练，转而采用仅计算输出令牌的监督损失函数，配合NorMuon优化器与三维旋转位置编码，显著提升了模型收敛稳定性与样本利用率。在整合ARC-2数据集时，研究者通过严格过滤重叠谜题彻底规避了数据泄漏问题，确保成绩的真实可信。消融实验表明，三维位置编码与任务级嵌入是性能跃升的核心驱动力。该成果在AI社区引发广泛关注。研究者指出，该基准测试长达六年未被饱和，证明了传统深度学习方法在元学习与流体智能测试中仍具巨大潜力，且无需依赖递归架构或海量合成数据即可达成高性能。当前大语言模型在ARC-2上表现停滞，更多反映的是数据分布依赖而非真正的通用推理能力。此举不仅验证了小模型在特定任务上的高效性，也为未来低成本、高迭代速度的AI研究路径提供了新范式。