一句话总结

清华大学、小米等机构的研究人员构建了Uni-GUI跨平台GUI交互数据集，并提出UI-MOPD，这是首个利用多教师在线策略蒸馏持续学习GUI agent的方法，通过动态选择平台特定的教师将行为先验传递给共享策略，从而在保留现有能力的同时适应新平台，在OSWorld和MobileWorld上分别达到38.2%和12.0%的任务成功率。

核心贡献

• 构建了Uni-GUI，一个高质量的跨平台GUI交互数据集，提供桌面和移动环境中的可执行轨迹，为多平台agent训练奠定了数据基础。
• 提出了UI-MOPD，这是首个将多教师在线策略蒸馏引入GUI agent持续学习的方法，通过动态地将rollout路由到平台特定的教师，并利用平台条件蒸馏将行为先验传递给共享策略，从而在保留现有能力的同时适应新平台。
• 在OSWorld和MobileWorld上的实验表明，UI-MOPD分别实现了38.2%和12.0%的任务成功率，大幅优于模型合并和从静态离线轨迹蒸馏等基线，并展示了在跨平台能力保留与新平台适应之间的有效平衡。

引言

作者着手解决构建能够在桌面和移动等异构平台上运行、同时保留各自独特交互习惯的GUI agent这一挑战。现实世界任务通常跨越多种界面类型，但先前的工作将跨平台学习视为混合训练数据的简单聚合，这可能导致平均掉平台特定的行为，并在持续学习环境中引发灾难性遗忘。高质量的跨平台轨迹稀缺，直接组合冲突的动作语义（例如关闭窗口与按下返回按钮）会降低agent性能。为了克服这些局限，作者引入了Uni-GUI，这是一个通过统一数据采集框架精心筛选的约1万条高质量跨平台轨迹数据集。随后，他们提出了UI-MOPD，这是首个将多教师在线策略蒸馏应用于GUI agent训练的方法。通过动态地将rollout路由到平台特定的教师，UI-MOPD提供稳定的行为锚点，保留原生交互模式，同时允许共享策略适应新平台，在OSWorld和MobileWorld上均取得了显著提升，且没有牺牲先前学习的能力。

方法

作者提出了UI-MOPD，一个两阶段训练流程，输出一个统一的GUI agent，能够跨桌面和移动平台运行，同时保留每个平台独特的交互模式。第一阶段利用高质量轨迹对视觉-语言基础模型进行监督微调（SFT），得到两个独立的专家教师：桌面教师 $\pi_{\mathrm{ref}}^d$πrefd​ 和移动教师 $\pi_{\mathrm{ref}}^m$πrefm​。第二阶段，多教师在线策略蒸馏（MOPD）过程通过在线强化学习将两个教师的专业知识整合到共享学生策略 $\pi_\theta$πθ​ 中。

MOPD的核心在于将多教师知识迁移形式化为在线策略优化过程中的条件行为约束。不同于合并模型权重或从静态离线数据中蒸馏，学生策略 $\pi_\theta$πθ​ 从其当前策略生成rollout，教师监督仅施加于学生实际访问的状态。这将蒸馏信号集中到学生自身的决策分布上，使其更贴合学生当前的错误。教师监督按照平台进行路由：每个rollout与其对应的平台特定教师配对，产生的KL惩罚作为平台条件的行为锚点。

学生与路由教师之间的每token在线策略KL散度定义为

$D_{\mathrm{KL}}^{(t,i)} = D_{\mathrm{KL}}\left(\pi_\theta(\cdot \mid h_t^{(i)}) \;\|\; \pi_{\mathrm{ref}}^{(i)}(\cdot \mid h_t^{(i)})\right),$DKL(t,i)​=DKL​(πθ​(⋅∣ht(i)​)∥πref(i)​(⋅∣ht(i)​)),

其中 $h_t^{(i)}$ht(i)​ 是样本 $i$i 在token $t$t 处的解码状态。为避免在整个词汇表上计算完整KL散度，该方法使用K3估计器，仅需学生和教师对采样token的对数概率。定义

$\delta_t^{(i)} = \log \pi_{\mathrm{ref}}^{(i)}(y_t \mid h_t^{(i)}) - \log \pi_\theta(y_t \mid h_t^{(i)}), \quad \rho_t^{(i)} = \exp(\delta_t^{(i)}),$δt(i)​=logπref(i)​(yt​∣ht(i)​)−logπθ​(yt​∣ht(i)​),ρt(i)​=exp(δt(i)​),

token级估计为

$\hat{D}_{\mathrm{KL}}^{(t,i)} = \rho_t^{(i)} - \delta_t^{(i)} - 1.$D^KL(t,i)​=ρt(i)​−δt(i)​−1.

该估计器非负，在$\pi_\theta$πθ​样本下无偏，且经验上比直接对数比方法具有更低的方差。小批量MOPD损失聚合这些token级估计，并由自适应掩码加权：

$\mathcal{L}_{\mathrm{MOPD}}(\theta) = \frac{\sum_{i \in B} \sum_{t} m_t^{(i)} \mu^{(i)} \hat{D}_{\mathrm{KL}}^{(t,i)}}{\sum_{i \in B} \sum_{t} m_t^{(i)} \mu^{(i)}}.$LMOPD​(θ)=∑i∈B​∑t​mt(i)​μ(i)∑i∈B​∑t​mt(i)​μ(i)D^KL(t,i)​​.

这里 $m_t^{(i)}$mt(i)​ 表示token的损失掩码（例如，屏蔽padding或系统token），$\mu^{(i)}$μ(i) 是组级自适应掩码，当提示词组的平均奖励已超过阈值 $\tau_{\mathrm{KL}}$τKL​ 时禁用KL惩罚。这种自适应掩码防止在任务反馈已经很强时教师约束阻碍探索，同时保留对低奖励rollout的行为指导。

平台条件教师路由通过根据构建时记录的数据源标签 $s_i$si​ 将每个rollout分配给其平台特定的教师来实现：

$\pi_{\mathrm{ref}}^{(i)} = \begin{cases} \pi_{\mathrm{ref}}^m, & s_i \in \mathcal{S}_{\text{mobile}}, \\ \pi_{\mathrm{ref}}^d, & s_i \in \mathcal{S}_{\text{desktop}}. \end{cases}$πref(i)​={πrefm​,πrefd​,​si​∈Smobile​,si​∈Sdesktop​.​

学生本身保持单一的共享策略，推理时不需要额外的模型或agent。每次RL更新时，学生从混合平台的提示中采样rollout，小批量按平台划分，计算教师对数概率，再将各平台信号合并计算最终损失。这种设计确保了桌面特有的行为（鼠标、键盘、窗口切换）和移动特有的行为（点击、滑动、导航）作为共享参数空间中不同的锚点被保留。

奖励信号是结构化结果奖励，由agent的动作输出（一个包含动作类型、坐标、文本和其他类型字段的JSON）计算得出。对于每种动作类型，定义了一组所需的维度（例如，动作类型正确性、坐标是否在目标边界框内、滚动方向、按键集合相等、不区分大小写的文本匹配）。匹配维度比例 $f_a$fa​ 决定奖励：

$R(x, y) = \begin{cases} 1.0, & f_a = 1, \\ -0.5, & 0 \le f_a < 1, \\ -1.0, & \text{unparsable or invalid action.} \end{cases}$R(x,y)=⎩⎨⎧​1.0,−0.5,−1.0,​fa​=1,0≤fa​<1,unparsable or invalid action.​

中间惩罚将部分有效但错误的动作与完全无效的输出区分开，为优势估计保留有意义的奖励差距。

最终训练目标将裁剪的策略优化与平台条件MOPD惩罚相结合。对于每个样本 $i$i，token级优势基于结构化奖励，使用组相对基线计算：

$A_t^{(i)} = R(x^{(i)}, y^{(i)}) - \frac{1}{|g(i)|} \sum_{k \in g(i)} R(x^{(k)}, y^{(k)}),$At(i)​=R(x(i),y(i))−∣g(i)∣1​∑k∈g(i)​R(x(k),y(k)),

其中 $g(i)$g(i) 是提示词组。令 $r_t(\theta) = \frac{\pi_\theta(y_t \mid h_t)}{\pi_{\theta_{\mathrm{old}}}(y_t \mid h_t)}$rt​(θ)=πθold​​(yt​∣ht​)πθ​(yt​∣ht​)​ 为策略比率。每token的裁剪替代损失为

$\ell_{\mathrm{PG}}^{(t)}(\theta) = \min\left(r_t(\theta) A_t,\; \operatorname{clip}(r_t(\theta), 1-\epsilon_{\text{low}}, 1+\epsilon_{\text{high}}) A_t\right).$ℓPG(t)​(θ)=min(rt​(θ)At​,clip(rt​(θ),1−ϵlow​,1+ϵhigh​)At​).

对于平台 $p$p 的rollout，最大化的总体目标为

$\mathcal{J}(\theta) = \mathbb{E}_{p, x, y \sim \pi_\theta} \left[ \sum_{t} m_t \left( \ell_{\mathrm{PG}}^{(t)}(\theta) - \beta \mu \hat{D}_{\mathrm{KL}}^{(t,p)} \right) \right],$J(θ)=Ep,x,y∼πθ​​[∑t​mt​(ℓPG(t)​(θ)−βμD^KL(t,p)​)],

其中 $\beta$β 控制蒸馏强度。等价地，最小化的损失为

$\mathcal{L}(\theta) = \mathcal{L}_{\mathrm{PG}}(\theta) + \beta \mathcal{L}_{\mathrm{MOPD}}(\theta).$L(θ)=LPG​(θ)+βLMOPD​(θ).

该联合目标通过在线RL推动策略达到更高的任务成功率，同时路由教师惩罚锚定平台特定的交互模式，防止共享策略退化为通用的平均行为。

实验

评估设置包括OSWorld上的交互式桌面任务、MobileWorld上的移动任务以及静态GUI定位基准，以评估使用平台条件蒸馏训练的单一学生agent。与混合监督微调和静态模型合并的对比表明，直接混合异构监督无法持续改善两个平台。UI-MOPD通过在在线策略优化过程中路由平台特定的教师信号，实现均衡的跨平台性能，在传递专业知识的同时不牺牲通用GUI定位能力。

UI-MOPD实现了最佳的均衡跨平台性能，在OSWorld上达到38.2%，在MobileWorld上达到12.0%。通用视觉-语言模型和专用GUI agent在两个平台之间表现出显著的权衡，而混合微调和静态模型合并等集成策略未能持续改善两个平台。UI-MOPD在OSWorld和MobileWorld上分别达到38.2%和12.0%，在所有对比方法中提供了最佳的跨平台平衡。单一平台的GUI agent往往为一个领域牺牲另一个领域：GELab-Zero-4B在MobileWorld上得分为10.9%，但在OSWorld上为31.9%；而GUI-Owl-7B在OSWorld上达到34.9%，但在MobileWorld上降至4.5%。

在单一环境上对8B学生进行特定平台的微调会导致不平衡迁移，提高一个平台的性能却降低另一个平台。UI-MOPD使用来自桌面和移动教师的平台条件蒸馏训练同一学生，在OSWorld和MobileWorld上分别比原始8B模型同时提升4.3个百分点。最终得到的8B学生甚至在MobileWorld上超越了32B基础模型，表明跨平台迁移并不仅仅是模型规模的问题。仅在OSWorld上微调8B模型可将桌面成功率提升至35.8%，但MobileWorld性能归零；而仅移动端微调在MobileWorld上达到12.8%，但未达到UI-MOPD的桌面提升。UI-MOPD同时提升8B学生在两个平台上的表现，在OSWorld上达到38.2%，在MobileWorld上达到12.0%，尽管使用较小的学生，仍优于32B基础模型在MobileWorld上的表现。UI-MOPD中的平台条件行为锚点防止异构交互信号坍缩为单一的平均约束，保留了平台特定的交互模式，同时提升了任务成功率。

UI-MOPD在AndroidControl上提升了移动GUI任务成功率，优于基础Qwen3-VL-8B-Thinking模型，而静态参数合并导致显著下降。在定位基准上，UI-MOPD紧密保持了基础模型的性能，而模型合并导致所有三个数据集上的明显下降，表明所提出的优化对静态GUI理解的破坏更小。UI-MOPD实现了最高的AndroidControl准确率（80.05%），超过了基础模型和TIES合并检查点。模型合并显著降低了定位性能（例如，ScreenSpot-Pro从43.71%降至37.13%），而UI-MOPD在所有定位数据集上保持接近基础的得分。

在OSWorld、MobileWorld、AndroidControl和定位基准上的评估，将UI-MOPD的平台条件蒸馏与单平台微调、模型合并以及各种GUI agent进行了比较。UI-MOPD同时提升8B学生在桌面和移动任务上的表现，同时保持定位准确率，而其他策略则产生权衡或降低性能。结果证实，平台条件行为锚点防止异构交互信号坍缩，从而在不牺牲静态理解的情况下实现有效的跨平台迁移。