微软发布20亿参数开源大语言模型BitNet，显著降低计算资源需求

微软近日发布了一款名为 BitNet b1.582B4T 的开源大型语言模型。这款模型拥有 20 亿参数，采用了独特的 1.58 位低精度架构进行原生训练，不同于传统的训练后量化方式，BitNet 在计算资源的需求上有了显著的降低。 据微软介绍，BitNet 的非嵌入内存占用仅为 0.4GB，远低于市场上其他同类产品，如 Gemma-31B 的 1.4GB 和 MiniCPM2B 的 4.8GB。这一创新不仅提高了模型的运行效率，还为资源有限的设备和应用场景提供了更多可能性。BitNet 的发布为大型语言模型的发展提供了新的思路和工具，有望在高效训练和低资源消耗方面开辟新的道路。 微软通过这一技术突破，展示了其在人工智能领域的持续创新能力和领先地位。BitNet 的开源性质也鼓励了全球开发者和研究者共同参与和改进，为未来的模型迭代和应用探索打下了坚实的基础。