HyperAIHyperAI

Command Palette

Search for a command to run...

NVIDIA GPU 运行 Run Step 3.7 企业级多模态 AI

步进智能(StepFun)最新推出的 Step 3.7 Flash 多模态大模型现已正式支持在 NVIDIA GPU 企业级基础设施上运行,标志着 AI 应用从单纯文本生成向实时感知、搜索与推理的多模态系统迈进。该模型拥有 1980 亿总参数,采用混合专家架构,单次前向传播激活约 110 亿参数,具备 25.6 万词元上下文窗口,原生支持图像与视频输入。其设计专为高吞吐量企业场景优化,涵盖金融分析、并发编码代理及复杂文档处理等任务。 在部署方面,Step 3.7 Flash 支持通过 Hugging Face 获取经过 NVFP4 量化的模型检查点,有效降低内存带宽与存储需求。开发者可利用开源框架如 SGLang、NVIDIA TensorRT-LLM 及 vLLM 进行部署,并利用 NVIDIA 提供的 GPU 加速端点快速进行原型验证与评估。例如,结合 NVIDIA Nemotron Parse 的文档智能流水线,能够高效从财务报告和科学论文等复杂文件中提取结构化数据。 为加速企业落地,NVIDIA 推出 NIM 微服务容器,提供标准 API 与性能调优,支持在本地、云端或混合环境中快速部署。此外,基于 NVIDIA NeMo 框架,团队可利用 Day 0 微调技术,直接在 Hopper GPU 上以每秒 600 词元的速度进行监督微调或 LoRA 训练,无需转换模型检查点。从数据中心到桌面级 DGX Station 设备,NVIDIA 提供了完整的解决方案以支持模型的全生命周期管理。Step 3.7 Flash 作为开源模型,不仅推动了 AI 透明度,也为开发者构建安全、弹性的多模态应用提供了坚实基础。

相关链接