HyperAIHyperAI

Command Palette

Search for a command to run...

18 小时前
NVIDIA
Agent
LLM

英伟达发布Nemotron 3.5 Lightning与NeMo Switchyard,加速高效智能体AI

近日,英伟达正式发布Nemotron 3.5 Lightning开源模型与NeMo Switchyard智能路由库,全面升级自主智能体基础设施。Nemotron 3.5 Lightning采用300亿参数混合专家架构,专为高频全天候运行场景优化,支持企业基于私有数据与工作流进行快速微调。实测数据显示,该模型在权威基准测试中令牌生成速度提升四倍,任务完成效率较同类领先30%,同时在代码生成、安全监控及垂直领域问答中保持前沿精度,且可无缝部署于本地PC、边缘设备及数据中心。 为破解多模型协同中的成本与性能瓶颈,英伟达同步开源NeMo Switchyard智能路由工具。该库可根据任务复杂度、延迟要求与预算限制,自动将请求分发至最适配的底层模型,无需开发者修改现有架构。内部基准测试证实,该方案在维持一线精度的同时,可将单次任务执行成本压缩至传统单一方案的约三分之一。目前,相关模型已适配vLLM、Ollama等主流推理框架,并通过Hugging Face、GitHub及云服务生态全面开放,进一步夯实了可控、高效且低成本的开源智能体开发环境。

相关链接