一句话总结

东南大学、南京大学、微软研究院及清华大学的研究者提出 Embodied.cpp，一个便携式 C++ 推理运行时，通过五层架构统一视觉-语言-动作模型与世界-动作模型，实现模块化多速率执行、以延迟优先的融合推理及可扩展 I/O，在 HY-VLA 和 pi0.5 上分别取得 100.0% 与 91.0% 的闭环任务成功率，并在异构机器人上将世界-动作模型块内存从 312.2 MiB 降至 88.1 MiB。

核心贡献

• Embodied.cpp 是一个面向具身模型的便携式 C++ 推理运行时，它提取了共享的执行路径并组织为五层：输入适配器、序列构建器、骨干执行、输出插件和部署适配器。
• 该运行时提供模块化多速率执行、以延迟优先的融合推理，以及可扩展的算子与 I/O 支持，通过单一后端抽象实现在异构设备、机器人和模拟器上的部署。
• 对 HY-VLA 与 pi0.5 视觉-语言-动作模型的评估分别实现了 100.0% 与 91.0% 的闭环任务成功率，而在 LingBot-VA Transformer 块基准测试中，内存占用从 312.2 MiB 降至 88.1 MiB，表明 Embodied.cpp 在提升部署效率的同时，能在多样化的具身架构上保持高准确率。

引言

最近的具身 AI 模型，如视觉-语言-动作（VLA）系统和世界-动作模型（WAM），能力不断增强，但必须运行在异构、资源受限的边缘硬件上，才能成为实用的机器人端系统。然而，以往的推理运行时是为请求-响应的 LLM/VLM 服务而构建，缺少闭环具身控制的三个关键需求：多速率执行、以延迟优先的 batch-1 优化，以及超越 token I/O 的可扩展具身接口。作者引入 Embodied.cpp，一个便携式 C++ 推理运行时，其五层架构（输入适配器、序列构建器、骨干执行、输出插件和部署适配器）通过解耦具有不同刷新率的组件、提供跨多种后端的融合小批量执行，并暴露可插拔模块以支持自定义算子和异构输入/输出，从而在统一、可扩展的框架下同时支持 VLA 和 WAM 系列。

方法

作者设计了 Embodied.cpp 以应对具身部署的独特挑战，这些挑战与传统的 LLM 和 VLM 推理截然不同。传统的推理服务假定同步的请求-响应路径，而具身模型则在闭环控制中运行，具有异构模块和多样机器人端硬件上的严格延迟要求。为克服这些障碍，作者确立了三项核心设计原则：模块化多速率执行、以延迟优先的融合执行，以及可扩展的算子与 I/O 支持。

运行时架构通过一个统一且可扩展的框架实现这些原则。在输入端，输入适配器吸收在线传感器流（包括摄像头、力或触觉信号以及 IMU 数据）以及离线数据集样本，并通过一个类型化的具身接口进行路由。在核心部分，系统维护一个共享的具身模型执行区，能够承载 VLA 模型、世界-动作模型（WAM）以及未来的变体。该核心区对外保留显式接口，用于未来预测、动作专家和最终动作生成。

在该模型执行区之下，三个支持性子系统直接针对核心部署挑战。首先，模块化多速率执行处理解耦的调度和运行时状态，允许感知堆栈和动作头等不同组件以其最优刷新率运行，而无需强制走单一的同步路径。其次，batch-1 异构硬件执行优先考虑稳定的控制性能，支持图重放、缓冲区复用、算子融合和针对特定后端的调度，确保在 CPU、GPU、NPU 和其他加速器上实现低延迟部署。第三，具身 AI 内核仓库收集不断演进的架构所需的可重用算子和模型专用内核。最后，输出适配器将运行时输出桥接到 Isaac Sim、Gazebo 等模拟器，以及 ROS、Apollo Cyber RT 等真实机器人软件栈，确保在模型结构和硬件目标变化时，部署边界保持稳定。

实验

评估表明，Embodied.cpp 可以通过统一的 C++ 运行时部署不同的 VLA 模型（HY-VLA 和 pi0.5），其中 HY-VLA 在其任务上达到 100% 成功率，但因其更大的骨干和多视图输入而具有较高延迟；pi0.5 则借助更轻的骨干和更长的动作分块实现了更低的均摊步成本。在 LingBot-VA 上的初步 WAM 微基准测试显示，量化后的 C++ Transformer 块将权重内存从 312 MiB 降至 88 MiB，同时保持可忽略的输出漂移（MAE 低于 0.033，余弦相似度高于 0.9997），这提供了初步证据，表明可在极小精度损失下为 WAM 组件节省大量内存。

具身 AI 模型分为视觉-语言-动作（VLA）模型和世界-动作模型（WAM），前者直接映射感知到动作，后者显式包含未来预测。在架构上，这两类模型从单体设计发展到日益模块化的系统，将规划、世界建模和动作生成分离开来。部署证据表明，这些结构选择影响延迟和内存，而量化可以大幅减少内存并保持输出保真度。VLA 模型遵循从感知到动作的路径，而 WAM 则将未来预测作为在线控制的显式组成部分，将运行时从简单的动作生成扩展到有状态的预测编排。模块化设计现已普遍：分层式 VLA 分割规划与控制，异步式 VLA 解耦模块速度，而 WAM 通过分阶段、共享骨干或潜在压缩模式分离世界建模和动作。

对比显示，现有推理运行时要么缺乏对具身模型系列的原生支持，要么仅限单一模型类型。通用运行时虽能实现边缘和异构硬件部署，却并不原生支持 VLA 或 WAM 模型，而 vla.cpp 涵盖 VLA 模型和机器人，但不支持 WAM。Embodied.cpp 是唯一同时原生支持 VLA 和 WAM 执行、模块化优化及所有所列部署能力的运行时。vla.cpp 是唯一具备原生 VLA 和机器人支持的先前系统，但缺少 WAM 支持，且仅提供部分模块化和模拟器集成。llama.cpp 和 ONNX Runtime 能够实现边缘及异构硬件部署，但需要对具身模型系列进行大量定制集成，且不提供机器人或模拟器接口。

HY-VLA 和 pi0.5 均通过相同的 C++ 部署正确运行，维持了各自的任务行为。HY-VLA 在 RoboTwin 基准上取得完美成功率，但因较大的 Hunyuan-VL 骨干、三视图输入和视频历史路径而带来更高延迟。pi0.5 则以适度的成功率下降，换取大幅降低的步延迟和推理延迟，这是通过采用更轻的 PaliGemma 骨干和更长的动作分块实现的。如 HY-VLA 相较于 pi0.5 所见，更重的骨干和多视图视觉输入会推高推理延迟和 GPU 内存。而增加动作分块长度（如 pi0.5 所做），则显著降低了均摊每步延迟，同时保持有竞争力的成功率。

LingBot-VA 的单块微基准将原始 BF16 Transformer 块与 Embodied.cpp 的 Q4_K 量化版本进行了对比。量化块所需内存更少（88.1 MiB vs 312.2 MiB），延迟几乎相同（3.171 ms vs 3.236 ms），输出保真度保持高位，平均绝对误差低于 0.033，余弦相似度高于 0.9997。这些结果表明，激进的权重量化可以大幅降低内存使用，同时保持块级计算保真度。Q4_K 量化的 Transformer 块实现了 72% 的内存缩减（88.1 MiB，312.2 MiB），推理延迟几乎不变。输出保真度得以保持，平均绝对误差低于 0.033，余弦相似度高于 0.9997，表明漂移可忽略不计。

具身 AI 模型日趋模块化，出现分层或异步 VLA 设计以及分阶段或共享骨干的 WAM；Embodied.cpp 是唯一原生支持这两类模型的运行时。量化可大幅减少内存（Transformer 块减少 72%），同时保持输出保真度，而部署测试表明，更大的骨干和多视图输入会增加延迟，而更长的动作分块则可以均摊每步成本。总体而言，这些结果凸显了运行时对于模块化具身模型的支持及量化在高效部署中的有效性。