摘要

当前的视觉-语言-动作（VLA）模型通常受限于一种僵化、静态的交互范式，难以实现视觉、听觉、语言表达与动作执行的并行处理，也无法动态应对实时用户中断。这一局限性严重阻碍了无缝的具身协作，导致用户体验僵化且响应迟缓。为解决上述问题，我们提出VITA-E——一种新型的具身交互框架，旨在实现行为上的并行性与近乎实时的中断处理能力。本方法的核心是一种双模型架构，其中两个并行运行的VLA实例分别作为“主动模型”（Active Model）与“待机模型”（Standby Model），使具身智能体能够 concurrently（同时）完成环境感知、用户语音监听、语言响应生成与动作执行，且所有操作均可被中断，从而模拟人类多任务处理的自然能力。此外，我们进一步提出“模型即控制器”（model-as-controller）范式，通过微调视觉语言模型（VLM），使其生成特定的控制令牌，作为系统级直接指令，将模型的推理过程与系统行为紧密耦合。在实体人形机器人平台上的实验表明，VITA-E能够稳定应对复杂的交互场景。该框架兼容多种双系统VLA模型，在紧急停机与语音中断等关键任务中均实现了极高的成功率，同时成功实现了语音与动作的并发执行。这一成果标志着向更自然、更强大的具身智能助手迈出了重要一步。