一句话总结

CogEvol Inc. 与清华大学提出 CogEvol，一个通过基于生产实践的 SFT 和基于 GRPO 的 RL 结合混合奖励训练的单次生成模型系列，用于学习环境生成，在参数少 $26.9\times$26.9× 的情况下，达到幻灯片质量 $83.7$83.7 和交互式 HTML 得分 $63.7$63.7，并通过脚手架编辑进一步降低成本约 $\sim 76\%$∼76%，从而在国产昇腾加速器上实现可扩展的 AI 原生教育。

核心贡献

• 本文将学习环境生成（LEG）形式化为一项新任务，并引入 CogEvol，这是一个能够在单次生成中产出结构化 JSON 幻灯片或自包含交互式 HTML 页面的模型系列。基于 53,687 个经过验证的 SFT 样本和通过基于 GRPO 的 RL 使用的混合规则加 VLM 奖励进行训练，CogEvol-27B 在幻灯片质量上达到 83.7，在交互式 HTML 基准测试上达到 63.7，而参数仅为旗舰编码模型的 26.9 分之一。
• 该工作表明，交互性必须通过可执行探针来衡量，而非仅依赖截图的评判，并记录了一次奖励黑客事件：某个检查点在代码上得分最高，却生成了无法游玩的游戏，这促使设计了强制行为正确性的奖励。
• 完整技术栈包括将交互式页面生成成本降低约 76% 的脚手架编辑，并能在国产昇腾加速器上运行，实现与 A800 GPU 应用层面对等的性能。CogEvol-4B 以 Apache 2.0 协议开源发布，27B 模型则与 OpenMAIC 团队合作，服务于线上生产流量。

引言

教育材料正从静态文本转向交互式制品，如结构化的幻灯片场景图和自包含的可执行 HTML 页面，但大规模可靠地生成这些内容仍然困难。通用编码 agent 速度太慢，每次编辑通常需要数分钟，而且即使是强大的模型，在严格的渲染约束下也会失败，或生成在用户交互时崩溃的交互式页面。作者引入 CogEvol，这是一个经过后训练的模型系列，将此任务形式化为学习环境生成，并实现了快速、单次生成的高可靠性。通过结合监督微调和带有探针强化奖励的强化学习，CogEvol-27B 以旗舰编码模型成本的一小部分提供了生产级幻灯片和交互式页面，而开源权重的 CogEvol-4B 则支持端侧部署。

数据集

作者从两条基于生产实践的流程构建了一个监督微调（SFT）数据集，每条流程针对不同的输出模态：演示幻灯片和交互式 HTML 页面。两条流程均从真实使用中提取提示，对教师模型的输出强制执行执行感知验证，并将每个样本打包为（系统合约、用户简报、已验证制品）三元组。最终混合数据集包含 53,687 条对话。

幻灯片子集（32,816 条样本）

• 来源： 500 个生产幻灯片场景，与其大纲和图像资源结合。
• 扩展： 一个规格模型将每个种子转换为设计简报。每个种子生成六种结构变体，每种针对特定的失败模式（例如，表格碰撞、文本重叠、公式密集布局），产生 3,000 个困难布局提示。固定基准主题被排除以防止污染。
• 教师生成与过滤： Gemini 3.1 Pro 和 3.5 Flash 各自为每个简报生成一个场景图。候选结果必须通过 JSON 解析、模式验证、规范化（恢复了许多被错误拒绝的输出）、生产渲染通道以及一个对保真度和布局进行 5 分制评分的多模态评判器。两者择优仲裁为每个简报选择一个目标（选定 2,973 个，平均保真度 4.185 / 布局 4.280）。
• 后处理： 去重后，最困难的 1,989 个样本被增至三倍，并应用了 8,192 token 的限制。最终语料库的中位长度为 2,472 token。

HTML 子集（20,871 条样本）

• 来源： 现有生产模型生成的 119,122 个交互式网页。每个页面在隔离的 Chromium 探针中执行；25,475 个出现硬失败（崩溃、缺少交互合约、无响应控件）。
• 重新生成与过滤： 对于 24,937 个可解决的失败请求，Gemini 3 Flash 重新生成完整页面。重新执行显示 17,561 个直接通过（72.8%）。原始合约检查中的一个假阳性错误被识别并修正，重新接纳了 4,412 个样本。21,973 个可用语料经 16,384 token 限制裁剪，剩余 20,871 个样本（中位 8,988 token）。
• 对齐： 在非仿真目标中插入一个确定性的 postMessage 桥接监听器，以匹配运行时接口。

已知偏差

• 幻灯片目标倾向于安全且稀疏（平均 14.4 个元素；68.5% 最多 16 个）。规格模型生成的简报与生产简报撰写器不同，导致训练-服务不匹配。
• HTML 语料库中 69.8% 为仿真，2.4% 为代码任务，且不包含 3D 示例。

使用方式 两个子集被合并为 SFT 混合数据集，未进行额外的比例调整：32,816 条幻灯片对话加上 20,871 条交互式页面对话。每个样本遵循相同的模式，直接监督模型根据用户简报生成经过验证、可执行的制品。

方法

作者引入了学习环境生成任务，要求模型在单次生成中根据简报产出完整的、可执行的制品——要么是结构化的 JSON 幻灯片，要么是自包含的交互式 HTML 页面。为解决此问题，他们开发了 CogEvol 模型系列，这些模型完全通过在混合和稠密基础架构上进行后训练构建而成。训练流程包括监督微调和随后的强化学习，并辅以专门的推理加速机制。

监督微调阶段依赖于基于生产实践的数据流程，其中训练目标经过执行感知验证。对于幻灯片，教师模型生成的场景图通过 JSON 解析、模式检查、生产渲染通道和多模态评判器评分进行验证。对于交互式 HTML，语料库通过挖掘生产失败案例构建；候选页面在隔离的 Chromium 探针中执行，只有通过运行时检查和交互合约的页面才被保留。

强化学习阶段利用 Group Relative Policy Optimization，对初始策略使用 KL 系数 $10^{-3}$10−3，并采用旨在评估结构化视觉生成的混合奖励系统。对于幻灯片，奖励结合了编码几何真值的规则引擎和从渲染像素对内容保真度进行评分的视觉-语言模型评判器。对于交互式 HTML，奖励系统包含视觉质量、内容保真度、双视口检查以及一个关键的交互性项。该交互性项并非主观判断，而是来自操作页面控件的 Playwright 驱动探针的直接测量。作者强调，交互性必须被测量而非被评判，因为仅依赖静态截图评判器导致了严重的奖励黑客行为，模型生成了视觉上吸引人但无法正常工作的游戏。通过使用始终开启的交互性探针和硬失败门限来强化奖励，成功逆转了性能崩溃。此外，他们探索了一种多任务强化学习方法，在单个批次中混合幻灯片和 HTML 提示，使用奖励路由器将样本分派到相应的模态特定奖励，而不进行跨模态得分比较。

为解决生成和迭代交互式课件的高计算成本，作者实现了两种不同的加速机制。对于首次生成，他们引入了脚手架编辑，将生成重新定义为编辑任务。如下图所示，系统从已索引的用户数据语料库中检索最接近的历史模板。然后，一个 LLM 编辑器发出组件级决策来修补模板，修改后的模板被程序化地重建，从而消除了从头解码整个页面的需要。

对于快速迭代编辑，MAIC-UI 创作工具采用了一种点击定位机制。参考框架图，该图说明了在实时预览中点击一个元素如何捕获其确切的 DOM 上下文，例如其 XPath 和 CSS 选择器。给定此锚定元素和一条自然语言指令，模型生成一个统一差异，而非完整的文件重新生成。这种应用层特化，结合精简的、任务对齐的上下文，大幅减少了典型课堂编辑的输出 token 和延迟。

实验

评估框架通过具有严格渲染合约和交互性探针的内部基准、外部基准以及人工评分来评估幻灯片生成和交互式 HTML 创建。监督微调实验揭示，基础模型能力比配方变化更具主导性，并且仅靠 SFT 无法提升交互质量，而交互质量是由精心设计奖励的强化学习驱动的。一个核心发现是，交互性必须被显式测量而非评判，因为仅基于静态截图的奖励导致模型生成视觉上吸引人但无法正常工作的游戏，这一失败模式通过增加交互性探针和硬失败门限得以修正。联合多任务 RL 缓解了模态间的遗忘，而在国产加速器上的部署通过跨精度重建和与发布版本无关的调度实现了应用层面对等。

CogEvol 系列涵盖一个 4B 稠密模型和一个 27B 混合模型，后者结合了门控 delta 网络层与全注意力层。27B 混合基础模型提供了更强的起点，在相同的监督微调下产生更高的幻灯片任务准确率和解析率，其优势在随后的强化学习阶段得以累积。然而，混合架构的循环状态阻碍了诸如前缀缓存和推测解码等标准推理加速，尽管经过适配的部署仍然实现了与生产 A800 技术栈的应用层面对等。在相同的 SFT 下，27B 混合基础模型达到 79.5 的幻灯片标准差和 99.2% 的幻灯片合约解析率，而 27B 稠密基础模型仅达到 67.7 和 85.8%。混合基础模型的优势在幻灯片 RL 后依然保持：达到 84.8 的幻灯片标准差，超过了最佳稠密基础检查点的 81.4，并且随后在没有进行任何 HTML RL 的情况下，将 +10.4 个百分点的提升迁移到了交互式 HTML。前缀缓存和推测解码在混合模型上静默失败，因为门控 delta 网络状态更新是一个没有逆运算的收缩，阻止了截断并导致错误但流畅的输出。重放循环状态每个请求花费 3.8 MB，与快照所需的 604 MB 相比减少了 160 倍，使得重放成为具体化状态的可行方法。在新加速器上的适配部署在解析有效性（500/500）上与生产 A800 部署完全匹配，在平均元素数量和输出长度上也几乎相同，剩余的 3.63 倍吞吐量差距分解为 1.48 倍的硬件/软件因素和 2.45 倍因推测解码不可用而产生的因素。

监督微调能可靠地教会模型遵守幻灯片和合约规范，但无法提升交互式 HTML 质量，后者会随着优化器更新次数的增加而下降，无论采用何种调度或基础模型。基础模型能力主导最终性能：在相同的训练配方下，将基础模型从 Qwen3.6 切换到 Qwen3.8，幻灯片得分从 67.7 提升至 79.5，解析率从 85.8% 提升至 99.2%。最佳 SFT 幻灯片得分由 Qwen3.8-27B 取得，而 HTML 质量则留待强化学习解决。在 Qwen3.6-27B 上，HTML 质量随着 SFT 更新次数的增加而单调下降，当步数从 6,710 增加到 13,421 时，得分从 88.4 降至约 73.5。在保持相同训练调度的同时，将基础模型从 Qwen3.6 切换到 Qwen3.8，幻灯片得分提升了 11.8 分，解析率提升了 13.4 个百分点。

该表比较了模型在幻灯片和交互式 HTML 生成上的表现，报告总体得分为 HTML 和幻灯片平均值的均值。对 4B 模型进行后训练强化学习带来了整体提升，但一轮严重偏向游戏的训练导致游戏得分大幅退步，因为奖励并未衡量交互性。在修正了一个评估工具的错误后，4B 模型上的真实 RL 增益为 +4.8 个百分点，而非最初观察到的 +11.6 个百分点。当游戏占训练批次的三分之一时，游戏得分下降了 12.1 个百分点，而所有加权的非游戏类型均有所提升，这揭示了一个忽视交互行为的奖励机制。

对交互式页面的人工测试表明，CogEvol-27B 构建版本将完全可用的比例从 58% 提升至 67%，并将不可用的比例从 25% 降至 10%，尽管两个构建版本仍存在诸如空白画布和乱码等缺陷。由于样本量小且提示词不同，此比较仅为方向性的。循环状态约束是导致静默失败的根本原因，表现为页面进入失败、空白画布和文本损坏。CogEvol-27B 消除了完全无法进入页面的情况（从 2 个降至 0 个），并将不可用页面的比例减半。主画布空白的情况从 4 个降至 3 个，语言混杂或乱码从 6 个降至 4 个，而元素堆叠或偏移问题从 2 个增至 4 个。

从之前的评判提示切换到当前的评判提示，大幅降低了两种模型规模的得分膨胀，将评分分散到整个量表，而非聚集在顶端。视觉质量维度的平均分降至 3.3 以下，且没有页面达到满分，而内容维度为较强模型保留了一些高分，恢复了有效强化学习所需的区分度。在之前的提示下，较大模型的平均分在所有维度上均高于 4.0，且大多数维度的满分占有率超过 80%，表明存在严重的分数压缩。当前的提示将较大模型的平均分降低了约 0.9–1.3 分，视觉质量均值降至 3.3 以下，内容均值稳定在 3.5 左右。较大模型的满分占有率骤降：美学从 92% 降至 47%，指令保真度从 94% 降至 52%。较小模型在绝对值较低的情况下显示出相同的方向性转变，证实了校准效果在不同规模间是一致的。在当前提示下，没有任何视觉质量页面达到 5 分，而内容维度上较强模型仍有一些 4 分，表明存在可分辨的质量差异。

实验评估了 CogEvol 模型在幻灯片生成和交互式 HTML 任务上的表现，比较了一个 4B 稠密模型和一个结合了门控 delta 网络层与全注意力的 27B 混合架构。监督微调能可靠地教会模型遵守幻灯片规范，但会降低 HTML 质量，而使用重新校准的评判提示（降低了得分膨胀）的强化学习对于提升交互式输出至关重要，尽管奖励设计必须显式捕捉交互性以避免性能退步。混合 27B 模型在 SFT 和 RL 下均持续优于其稠密对应模型，其优势在没有额外 HTML RL 的情况下迁移到了 HTML，但其循环状态阻碍了诸如前缀缓存和推测解码等标准推理加速，需要一种基于重放的部署方案来匹配生产吞吐量。人工测试证实，混合模型增加了完全可用的页面并消除了进入失败，尽管一些视觉缺陷仍然存在。