随着人工智能从简单问答向复杂推理演进，AI推理（inference）的计算需求与经济价值正以前所未有的速度增长。近日，独立研究机构SemiAnalysis发布首个全面衡量真实场景下推理总计算成本的基准测试——InferenceMAX v1，结果显示，NVIDIA Blackwell平台在性能与效率上全面领先，为AI工厂的规模化部署树立了新标杆。 测试数据显示，一台价值500万美元的NVIDIA GB200 NVL72系统，可实现高达7500万美元的token收入，投资回报率（ROI）达15倍。这一数字揭示了AI推理正从技术实验转向可盈利的产业基础设施。 NVIDIA副总裁Ian Buck指出：“推理是AI每天创造价值的核心环节。Blackwell全栈式设计为客户提供实现AI规模化部署所需的性能与效率。” InferenceMAX v1通过多维度测试，覆盖了gpt-oss-120b、Llama 3.3 70B、DeepSeek-R1等主流大模型，涵盖聊天、摘要、深度推理等多种真实场景，采用连续集成机制每日更新结果，确保透明可复现。测试不仅关注吞吐量，更强调每瓦特算力、每百万token成本、用户交互响应性等实际运营指标。 在性能方面，Blackwell平台凭借第五代Tensor Cores、1800 GB/s NVLink带宽与HBM3e内存，实现显著跃升。例如，在Llama 3.3 70B模型上，Blackwell B200单GPU吞吐量达10,000 TPS，是H200的4倍以上。而在gpt-oss-120b模型上，通过TensorRT-LLM软件优化与推测解码（speculative decoding）技术，单GPU吞吐量从6,000提升至30,000 tokens/秒，效率提升5倍。 更关键的是成本控制。Blackwell将每百万token成本降低15倍，同时在高并发场景下仍保持低能耗。GB200 NVL72系统在75 TPS/user下成本仅为0.10美元/百万token，相较H200下降15倍，且成本曲线更平缓，支持更高用户密度。 NVIDIA还通过与SGLang、vLLM、FlashInfer等开源社区合作，共同开发针对Blackwell优化的内核与运行时框架，提升MoE模型的专家并行效率。结合Dynamo的解耦推理架构，实现prefill与decode阶段独立优化，有效避免GPU资源闲置。 这一系列软硬件协同创新，使Blackwell不仅在峰值性能上领先，更在真实生产环境中实现最优的总拥有成本（TCO）与服务级别协议（SLA）保障。 综上，InferenceMAX v1的发布标志着AI推理评估进入新阶段。NVIDIA Blackwell凭借全栈优化与开放生态，正在重塑AI经济模型——让推理不再只是算力消耗，而是可规模化、高回报的生产力引擎。