NVIDIA 推出全新 TensorRT Edge-LLM 推理运行时，旨在推动自动驾驶汽车与人形机器人等物理 AI 的发展。面对边缘设备在功耗和实时性上的严苛限制，该工具不再仅关注如何运行大语言模型，而是致力于实现高保真推理、实时多模态交互及轨迹规划。 最新版本在 NVIDIA DRIVE AGX Thor 和 Jetson Thor 平台上大幅扩展了核心能力。首先，通过引入专家混合架构，该运行时优化了如 Qwen3-MoE 等模型，使其能在边缘端以极低的延迟和算力占用，调用大规模模型的推理能力。其次，它原生支持 NVIDIA Nemotron 2 Nano，利用混合架构大幅降低内存占用，同时保留高精度，使设备能在深度推理与即时对话间灵活切换。 在多模态交互方面，TensorRT Edge-LLM 新增对 Qwen3-TTS 和 Qwen3-ASR 的支持。这种端到端的语音处理架构消除了传统级联模型带来的延迟，实现了车机与驾驶员之间流畅自然的对话。针对人形机器人，新运行时加速了 Cosmos Reason 2 模型的部署，赋予机器人理解物理规律和进行常识性规划的能力，使其能安全处理复杂的现实场景。 此外，该工具还开始集成 NVIDIA Alpamayo 系列模型，推动自动驾驶从传统模块化架构向端到端视觉 - 语言 - 动作模型转型。Alpamayo 能够生成因果推理链，从而规划精确的行驶轨迹。TensorRT Edge-LLM 作为纯 C++ 运行环境，去除了 Python 依赖，确保了内存使用的可预测性，为构建下一代自主机器提供了关键基础。开发者可通过 GitHub 仓库获取相关示例并启动项目。