近日，开发者JustVugg在GitHub开源了名为colibri的轻量级大模型推理引擎，成功将Z.ai发布的7440亿参数MoE架构大模型GLM-5.2部署于消费级硬件。该引擎采用纯C语言编写，核心代码仅千余行，运行时无需Python或GPU支持。其技术架构聚焦于专家参数磁盘流式加载与内存自适应管理，结合MLA注意力压缩与原生多令牌预测（MTP）投机解码机制，有效突破了CPU端推理的I/O瓶颈。 在约25GB内存与12核处理器的测试环境中，引擎借助动态专家缓存分配与混合精度量化技术，将模型常驻内存压降至10GB左右。实测表明，冷启动状态下推理延迟较高，速度约为每秒0.05至0.1个词元；但随着磁盘缓存预热并启用MTP验证，配合NVMe固态硬盘可实现每秒1词元以上的生成效率。作者强调，尽管受限于消费级存储的物理带宽，该引擎通过自适应专家锁定策略已大幅优化响应逻辑。colibri的落地验证了千亿级前沿模型在低功耗本地设备运行的技术可行性，显著拓宽了大模型的下沉应用场景。目前引擎与量化权重已全量开源，开发者社区可基于此进一步开展底层算力调优与量化精度基准测试。