一句话总结

来自北京航空航天大学及合作机器人公司（Agilex、Franka等）的研究者提出EVA-Client，一个开源统一框架，将机器人集成、推理策略和传输中间件解耦，以支持操作策略的实时部署、调试和评估，并自动从每次运行中记录训练就绪的部署数据，从而闭合真实机器人的迭代闭环。

核心贡献

• EVA-Client提供组件解耦的架构，将机器人后端、推理策略和传输中间件分离，使这些层的任意组合均可开箱即用，并确保部署与机器人无关、与信号源无关。
• 可检查的部署、调试、采集和评估工作流支持从开环仿真和单块步进到连续控制的多种执行模式，实现可复现且可调试的真实机器人实验。
• 每次评估都会自动以训练就绪的LeRobot格式记录部署数据，同时提供全面的每次运行日志和交互式并排查看器，因此物理评估能以闭环方式反馈给外部训练。

引言

机器人操作研究越来越广泛地采用基于多模态基础模型的通用策略，成熟的训练生态系统现在提供了模块化框架、共享数据格式和可扩展的配方。尽管如此，将这些策略部署到物理硬件上仍然碎片化：真实机器人执行通常依赖特定方法的脚本，以临时方式耦合观测处理、动作调度、延迟补偿和评估，使得部署难以检查、复用或跨平台比较。作者提出EVA-Client，一个统一的客户端，通过提供统一的、组件解耦的推理、数据采集和评估层来弥补这一部署差距。它将策略服务器、机器人后端和推理策略解耦，将部署从每个模型一个脚本转变为可复现、可检查的过程，并自动以训练就绪的格式捕获部署数据，从而完成真实机器人迭代闭环，并反馈给外部训练。

数据集

该数据集是通过EVA-Client的采集模式生成的遥操作演示片段集合。每个片段记录了操作人员通过主从设置操控机器人，客户端记录同步的状态-动作对和摄像头画面。

数据集组成与来源

• 来源： 在ROS1、ROS2或ZMQ传输上实时记录的人类遥操作。操作者移动主臂，从臂精确镜像其动作。
• 组成： 每个任务创建一个数据集。每个片段存储每步的观测（机器人测量状态）和动作（命令运动），两者均以关节角度和通过正向运动学得到的末端执行器位姿提供。
• 多模态内容： 每步包含一个带有状态和动作向量的列式表格条目，以及每个摄像头的一个H.264视频。数据集元数据与片段一起写入。

关键细节与处理

• 格式： 片段以LeRobot布局保存，与离线回放和训练使用的格式相同。通过以精确间隔合成每帧时间戳来强制执行固定速率假设；原始带抖动的捕获时间保留在单独的字段中。
• 质量控制： 每个完成的片段都会进行自动逐帧检查，检查非单调时间戳、缺失或格式错误的摄像头帧、错误的向量维度、非有限值以及视频与表格长度不匹配。有问题的片段将被隔离：错误字段置零填充以保持表格规整，并记录问题供审查。操作员随后在控制台中开环回放每个片段，给出通过/失败判定和可选自由文本注释，该注释写入时不会更改轨迹。
• 录制机制： 捕获由明确的激活步骤控制，因此不会发生意外录制。后台写入器将片段追加到磁盘，确保实时捕获不会停滞。

数据使用方式

• 收集的片段直接作为策略的监督训练目标。由于同时存储了状态和动作，录制内容既可回放审查，也可立即用于行为克隆。
• 论文使用该数据集训练驱动策略；本节未描述明确的训练分割或混合比例，但数据以任务特定、训练就绪的格式准备，并经过自动质量检查和人工审核。

方法

作者提出EVA-Client，一个统一框架，旨在弥合训练好的操作策略与物理机器人执行之间的差距。作为一个薄客户端，它在各种信号源与机器人硬件之间进行中介，处理实时部署、调试和数据采集的复杂性。

从高层次来看，该框架运行在信号源（包括训练好的策略服务器，如openpi、StarVLA、GR00T和Dream-Zero，以及人类遥操作）与机器人执行栈之间。客户端向基于模型的信号源发送指令和观测，接收动作块，并通过ROS 1/2或ZMQ向机器人发出命令，同时读回同步观测。在内部，架构分为五个层，具有窄接口：传输层抽象观测捕获和命令下发；机器人描述层声明执行器组和观测模式；策略客户端查询信号源；推理策略管理块调度和平滑；CLI/Web层驱动会话状态机。

为支持多种硬件，传输层将控制逻辑与通信协议解耦。ROS1和ROS2后端将话题缓冲在有界双端队列中，并对齐时间戳以产生同步观测帧，丢弃过期消息以防止数据错配。数据集后端回放片段以进行开环测试，而ZMQ后端支持无需实体机器人的开发。机器人支持是声明式的；机器人描述对象列出执行器组、摄像头和话题映射，只需编写一个描述类即可集成新平台。该框架进一步解耦观测状态空间、策略输出空间和发布空间，使策略能够预测末端执行器位姿，同时通过基于PyRoki的连续逆运动学（IK）求解器命令关节控制臂。该求解器在关节限制下最小化末端执行器位姿、休息位姿偏置和速度的加权代价，确保平滑轨迹。

操作模型将部署视为迭代调试活动，通过单一网络控制台暴露。

该控制台为调试、采集和评估模式提供持久化界面，包含控制面板、三维可视化场景和同步摄像头流。在调试工作流中，用户可以选择多种执行粒度。开环仿真将动作路由到三维可视化进行安全验证。真实单块步进允许用户在真实机器人上一次推进一个动作块，以定位故障。单块仿真到真实步进将仿真预览与物理执行交错，提供人工检查点。连续执行运行完整的实时部署循环。

基于块策略的实时执行因推理延迟和重叠的动作范围而带来挑战。推理策略必须决定何时请求新块，以及如何将重叠的预测混合成平滑的命令流。

作者实现了多种策略来解决这一问题。同步执行在查询下一个块之前请求并执行一个完整块，这具有可复现性，但会导致走走停停的运动。带线性重叠混合的异步预取并行运行推理和控制。当新块到达时，与推理延迟对应的前导动作被丢弃。剩余动作在重叠窗口 $L$L 内使用线性混合与当前缓冲区合并：

$$a _ {i} ^ { \text {blend}} = w _ {i} a _ {i} ^ { \text {old}} + \left(1 - w _ {i}\right) a _ {i} ^ { \text {new}}, \quad w _ {i} = 1 - \frac {i}{L - 1}$$aiblend​=wi​aiold​+(1−wi​)ainew​,wi​=1−L−1i​

其中 $i = 0, \ldots, L - 1$i=0,…,L−1。这逐渐将权重从缓冲轨迹转移到新预测。时间集成在绝对时间上聚合预测，将被执行动作计算为覆盖当前时间步的所有预测的指数加权平均：

$$\bar {a} _ {t} = \frac { \sum_ {(j, a) \in \mathcal {P} (t)} e ^ { - m \rho_ {t} (j)} a } { \sum_ {(j, a) \in \mathcal {P} (t)} e ^ { - m \rho_ {t} (j)} }$$aˉt​=∑(j,a)∈P(t)​e−mρt​(j)∑(j,a)∈P(t)​e−mρt​(j)a​

其中 $\rho _ { t } ( j )$ρt​(j) 是调用的局部位置，偏向早期预测。实时分块 (RTC) 根据先前提交的动作块（按延迟向前偏移）来条件化生成，从而减少源端的接缝。

推理策略的选择对具有不同需求的任务性能影响显著。

对于乒乓球等高动态任务，同步执行会使机械臂停滞，无法跟踪快速移动的物体，而异步调度保持控制回路，实现成功对打。对于叠布等长时间范围任务，异步执行确保平滑、连贯的轨迹。

最后，该框架支持通过遥操作录制进行数据采集。操作员操控机器人，客户端记录测量状态与命令动作的同步对。片段以LeRobot格式写入，包含每步的观测、动作和视频，并经过自动质量控制，以标记非单调时间戳或格式错误的数据，然后再进行手动审查。

实验

EVA-Client将评估形式化为一个核心子系统，通过将试验组织成带有明确里程碑的评分场景，实现在相同条件下对多个检查点进行可复现的比较。系统记录三个并行动作流（原始预测、平滑动作和已执行命令），使推理流水线可调试，并能精确归因行为错误。只读Web查看器随后提供并排检查点比较及可审计的、与视频关联的记录，将主观的物理运行转化为结构化的、可复现的证据。

调试工作流提供了一系列执行模式，在安全性和可观察性与真实性之间取得平衡。从零硬件风险的开环仿真开始，用户可以在真实机器人上逐步执行动作块，在提交到硬件之前先在仿真中预览每个块，最后以全控制速率进行连续实时执行。开环仿真仅将策略动作渲染在3D查看器中，允许安全地检查行为而无需任何硬件风险。分段仿真到真实模式在仿真中预览每个动作块，并要求用户在真实机器人上执行前确认，在预测与物理执行之间提供人工检查点。

EVA-Client将五种推理策略统一在一个接口下，每种策略的区别在于推理是否与执行重叠，以及重叠动作块如何组合。唯一的同步策略产生走走停停的运动，而四种异步策略避免阻塞，但需要一种平滑方法来解决预测块之间的时间错位。同步执行是唯一的非异步策略，并引入走走停停的运动。带线性重叠的异步预取在其重叠窗口内混合经延迟修剪的块，使机器人连续运动。时间集成应用指数加权集成，与朴素异步的简单块替换方法形成对比。实时分块 (RTC) 结合服务器端条件化和最终的线性重叠传递，是唯一使用服务器端平滑的策略。

调试工作流提供了一个安全的进展路径，从开环仿真到带有人工确认的分段仿真到真实预览，最终实现全实时执行。EVA-Client将五种推理策略统一在一个接口下：同步执行导致走走停停的运动，而诸如线性重叠混合和时间集成的异步策略使连续运动成为可能，实时分块额外使用服务器端条件化。这些设计共同提供了灵活的部署、安全的测试以及在真实硬件上平稳的策略执行。