HyperAIHyperAI

Command Palette

Search for a command to run...

英伟达Vera处理器兼顾高吞吐与智能体高速执行

近日,英伟达称Vera处理器可兼顾人工智能智能体的高速执行与高并发密度,帮助功耗受限的人工智能工厂提升每瓦产出。智能体任务常在图形处理器推理与中央处理器执行间切换,会检索资料、查询数据库、编写测试代码并调用工具,因此处理器既要响应快,也要容纳大量并发。 在100兆瓦数据中心场景中,英伟达表示Vera性能优于最快x86处理器,能效领先于最节能x86处理器。相比最快x86,Vera每瓦可运行智能体数量增加1.6倍;相比最节能x86,智能体速度提升2倍且能效领先。由此,运营方可用单一处理器兼顾速度与容量,减少在高速方案与高密度方案之间的混搭取舍。 Perplexity、DeepInfra、ClickHouse、Daytona和Modal等测试显示,Vera在智能体编码、编排、数据库负载、沙箱调度和高并发吞吐中均获增益:Perplexity编码提速1.5倍并计划投产,DeepInfra编排最高提速2.2倍,ClickHouse在176核上接近线性扩展,Daytona用10.8秒启动1000个沙箱并在2000并发下每秒完成12.7个任务,Modal单核沙箱吞吐最高提升2倍。这为智能体规模化部署提供了更高吞吐与更低功耗压力的基础设施选择。

相关链接