在智源社区的一篇最新论文中，研究团队提出了一种增强大型语言模型（LLM）算法能力的新方法。这一方法旨在解决大型语言模型在进行推理和规划等复杂任务时所面临的主要限制，这些任务通常需要真正的算法能力而非简单的捷径。 当前，大型语言模型的算法能力不足主要是由于神经网络优化算法、优化数据和优化目标的限制，以及模型架构本身的表达能力不足。研究团队为了克服这些障碍，提出了在大型语言模型中集成基本操作和复杂可微程序库的方案。具体来说，他们在LLaMA3模型的基础上构建了一个改进的变压器架构，该架构新增了存储器、寄存器、基本操作和自适应递归功能。通过这些改进，常见的算法可以被直接编译成可微初始库，不仅能够本地执行，还能通过反向传播梯度进行优化。 这一初步研究的目标是验证将LLaMA3与可微计算机结合的可行性，尤其在处理具有可变计算深度的简单算法任务时。结果显示，通过微调小型变压器模型，可以在这些任务上实现更高效和稳健的性能。这项研究为开发更加智能和强大的大型语言模型提供了新的思路和方法，未来有望在更多领域得到应用和发展。