NVIDIA DGX Spark：少命令运行边缘AI模型

英伟达近日面向边缘人工智能开发者推出基于DGX Spark 64GB平台的轻量化模型运行方案，并借助TensorRT Edge-LLM推理运行时，将大语言模型部署流程压缩到少量命令。该方案面向智能座舱、机器人感知、任务规划和产线设备协同等物理AI场景，帮助开发者在有限内存、功耗和延迟约束下完成模型原型开发、微调与测试。开发者可通过trtedge命令行工具下载模型并自动构建适配Spark的推理引擎，随后在终端中对话测试，或启动兼容OpenAI格式的本地推理服务，用于应用集成与迭代。该流程要求支持CUDA 13、TensorRT 10.x和Python 3.10至3.12的开发环境，模型与引擎文件可缓存复用，降低重复构建成本。以Nemotron-3.5 Lightning文本模型为例，其在DGX Spark 64GB上可保持较低首字延迟，启用DSpark投机解码后，生成速度在部分测试中由约每秒73个token提升至105至127个token。TensorRT Edge-LLM还可在Jetson Thor、DRIVE AGX Thor和IGX Thor等嵌入式平台复用，帮助开发者从原型验证平滑迁移到边缘和车载场景。