HyperAIHyperAI

Command Palette

Search for a command to run...

LFM2.5-Encoders发布:CPU端长上下文高效推理

近日,Liquid AI在Hugging Face平台正式推出两款通用编码器模型LFM2.5-Encoder-230M与LFM2.5-Encoder-350M。该系列基于LFM2架构优化,专为长文本语境下的高频CPU推理任务设计,兼顾高精度与低算力成本。 模型采用双向注意力机制与非因果短卷积结构,通过掩码语言建模进行两阶段训练,上下文窗口支持扩展至8192令牌。基准测试表明,350M模型在17项涵盖GLUE及多语言分类的任务中综合排名第四,性能优于多款参数量十倍于己的竞品;230M版本则在多项指标上超越ModernBERT-base与EuroBERT系列,且体积更小。 长文本推理是核心优势。在8192令牌输入下,230M模型在CPU端的单次前向传播耗时约28秒,较同类模型提速近3.7倍。这一特性使开发者能够利用常规硬件,高效执行意图路由、隐私信息检测、合同解析等全天候运行的生产级任务。 目前两款模型已作为开源权重发布,开发者可通过Transformers库直接调用并接入自有任务头进行微调。Liquid AI指出,该编码器系列将有效填补生成式大模型在轻量级、高并发理解型任务中的性能空白,进一步降低企业级自然语言处理应用的部署门槛。

相关链接