一句话总结

贾鸿瑞、姜超亚等人提出“诊断驱动的渐进式演化”（DPE），这是一种自我改进的闭环机制，通过诊断大型多模态模型（LMM）的弱点并生成针对性的多模态数据进行强化训练，在十一个基准测试中优于静态训练方法，并支持在开放任务下实现可扩展、持续的LMM演化。

主要贡献

• DPE引入了一种诊断驱动的大型多模态模型训练循环，可识别能力盲区，并利用多智能体工具增强标注动态生成针对弱点的数据，克服了静态数据集和基于启发式方法演化的局限性。
• 应用于Qwen3-VL-8B-Instruct和Qwen2.5-VL-7B-Instruct模型时，DPE仅需每轮1000个训练样本，即可在十一个多模态推理基准测试中实现稳定、持续的性能提升，证明其在开放任务分布下的高效性与可扩展性。
• 系统分析证实，DPE的诊断机制增强了训练稳定性并缓解了长尾性能退化，提供了一种无需昂贵人工标注或固定数据配方即可持续改进模型的原理性方法。

引言

作者利用诊断反馈解决大型多模态模型（LMM）训练中的关键缺陷，此前的自演化方法依赖启发式信号和静态视觉数据，导致训练不稳定和长尾性能差。现有框架缺乏可解释的失败归因，难以生成多样且有针对性的多模态样本，导致模型在数学或OCR等复杂任务上性能停滞或退化。其主要贡献是“诊断驱动的渐进式演化”（DPE），这是一种闭环训练范式，通过诊断模型弱点、动态生成定制化多模态数据（借助多智能体工具）并迭代强化改进，最终在多个基准测试中以极少数据实现稳定、广泛的性能提升。

方法

作者采用“诊断驱动的渐进式演化”（DPE），这是一种专为监督稀缺和长尾覆盖不足条件设计的闭环训练框架，用于增强大型多模态模型（LMM）。不同于依赖静态图像集和启发式信号的先前自演化方法，DPE迭代执行诊断、针对性生成与强化学习更新。每轮迭代明确控制训练数据的类别构成和问题重点，将资源对准模型当前的能力盲区，以缓解不稳定性和长尾技能的收益递减。

在第 $k$k 轮迭代中，策略记为 $\pi_{\theta^{(k)}}$πθ(k)​。框架构建训练集 $\mathcal{T}^{(k)}$T(k)，并通过带有可验证奖励的强化学习更新参数至 $\theta^{(k+1)}$θ(k+1)：

$$\theta ^ { ( k + 1 ) } \! = \! \mathcal { A } _ { \mathrm { R L } } \! \Big ( \theta ^ { ( k ) } ; \, \mathcal { T } ^ { ( k ) } \Big ) , \mathcal { T } ^ { ( k ) } \! = \! \mathcal { A } _ { \mathrm { g e n } } \! \Big ( \mathcal { R } ^ { ( k ) } \Big ) , \mathcal { R } ^ { ( k ) } \! = \! \mathcal { A } _ { \mathrm { d i a g } } \! \Big ( \pi _ { \theta ^ { ( k ) } } \Big ) ,$$θ(k+1)=ARL​(θ(k);T(k)),T(k)=Agen​(R(k)),R(k)=Adiag​(πθ(k)​),

其中 $\mathcal{A}_{\text{diag}}$Adiag​、$\mathcal{A}_{\text{gen}}$Agen​ 和 $\mathcal{A}_{\text{RL}}$ARL​ 分别代表诊断、生成和RL更新操作符，$\mathcal{R}^{(k)}$R(k) 是结构化诊断报告。

诊断机制在每轮开始时执行显式失败归因和能力分解。它将多模态推理映射到一个12维能力空间 $C = \{c_1, c_2, \ldots, c_K\}$C={c1​,c2​,…,cK​}，包括几何图像、医学图像、统计图表和自然场景等类别。从诊断池 $\mathcal{D}_{\text{diag}}$Ddiag​ 中采样 $N = 200$N=200 个实例 $\{(I_n, q_n, a_n, c_n)\}_{n=1}^{N}${(In​,qn​,an​,cn​)}n=1N​，模型生成响应 $\hat{y}_n \sim \pi_{\theta^{(k)}}(\cdot \mid I_n, q_n)$y^​n​∼πθ(k)​(⋅∣In​,qn​)。诊断智能体使用函数 $v(\cdot)$v(⋅) 对每个响应进行评分，该函数评估推理步骤和最终结果，产生标量正确性信号 $z_n$zn​。对每个类别 $c$c，系统计算计数和准确率：

$$N _ { c } = \sum _ { n = 1 } ^ { N } \mathbb { I } [ c _ { n } = c ] , \qquad \mathrm { A c c } _ { c } = \frac { 1 } { N _ { c } } \sum _ { n = 1 } ^ { N } \mathbb { I } [ c _ { n } = c ] \cdot z _ { n } .$$Nc​=n=1∑N​I[cn​=c],Accc​=Nc​1​n=1∑N​I[cn​=c]⋅zn​.

除准确率外，智能体分析错误集 $\mathcal{E}_c = \{n \mid c_n = c, \ z_n = 0\}$Ec​={n∣cn​=c, zn​=0}，总结重复失败模式 $\mathcal{F}_c$Fc​，例如OCR错位或图表图例不匹配。这些模式被注入生成阶段作为可执行提示。系统随后根据分段准确率范围分配未归一化权重 $\tilde{\alpha}_c$α~c​，并归一化得出类别比例向量 $\alpha^{(k)}$α(k)：

$$\alpha _ { c } ^ { ( k ) } = \frac { \tilde { \alpha } _ { c } } { \sum _ { c ^ { \prime } = 1 } ^ { C } \tilde { \alpha } _ { c ^ { \prime } } } .$$αc(k)​=∑c′=1C​α~c′​α~c​​.

最终诊断报告 $\mathcal{R}^{(k)}$R(k) 包含 $\alpha^{(k)}$α(k)、$\{\mathcal{F}_c^{(k)}\}${Fc(k)​} 和 $\{\mathcal{H}_c^{(k)}\}${Hc(k)​}，其中 $\mathcal{H}_c^{(k)}$Hc(k)​ 提供可执行的生成指令，例如强制更严格的答案格式或更长的推理链。

多智能体提问系统将 $\mathcal{R}^{(k)}$R(k) 转换为具有可控分布和可验证答案的训练数据集 $\mathcal{T}^{(k)} = \{(I_j, q_j, a_j, c_j)\}_{j=1}^M$T(k)={(Ij​,qj​,aj​,cj​)}j=1M​。给定目标预算 $M$M，系统强制执行硬性类别配额约束：对每个类别 $c$c，$m_c = \left\lfloor M \cdot \alpha_c^{(k)} \right\rfloor$mc​=⌊M⋅αc(k)​⌋，最终数据集需满足：

$$\sum _ { ( I , q , a , c ) \in \mathcal { T } ^ { ( k ) } } \mathbb { I } [ c = c ^ { \prime } ] = m _ { c ^ { \prime } } , \quad \forall c ^ { \prime } \in \{ 1 , \ldots , C \}.$$(I,q,a,c)∈T(k)∑​I[c=c′]=mc′​,∀c′∈{1,…,C}.

系统包含四个智能体：规划者、图像选择器、问题生成器和验证器。规划者智能体为每个样本 $j$j 输出计划：

$$\mathrm { p l a n } _ { j } = \big ( c _ { j } , \ \mathrm { r e q } _ { j } ^ { I } , \ \mathrm { r e q } _ { j } ^ { Q } , \ \mathrm { d i r } _ { j } \big ),$$planj​=(cj​, reqjI​, reqjQ​, dirj​),

其中 $c_j$cj​ 是目标类别，$\mathrm{req}_j^I$reqjI​ 指定图像要求，$\mathrm{req}_j^Q$reqjQ​ 指定问题要求，$\mathrm{dir}_j$dirj​ 针对从 $\mathcal{F}_{c_j}^{(k)}$Fcj​(k)​ 和 $\mathcal{H}_{c_j}^{(k)}$Hcj​(k)​ 推导出的弱点。图像选择器智能体从外部池 $\mathcal{P}_{\text{ext}}$Pext​ 中检索或合成图像 $I_j$Ij​，使用包含搜索、过滤和编辑功能的管道 $\phi(\cdot)$ϕ(⋅)。问题生成器智能体根据 $I_j$Ij​ 和规划指令生成 $(q_j, a_j)$(qj​,aj​)：

$$( q _ { j } , a _ { j } ) = \psi \big ( I _ { j } , \ \mathrm { r e q } _ { i } ^ { Q } , \ \mathcal { H } _ { c _ { i } } ^ { ( k ) } \big ).$$(qj​,aj​)=ψ(Ij​, reqiQ​, Hci​(k)​).

验证智能体通过四个检查门控样本质量：类别一致性、可解性、答案可验证性和格式合规性。最终接受条件为：

$$g ( s _ { i } ) = g _ { \mathrm { c a t } } \cdot g _ { \mathrm { s o l } } \cdot g _ { \mathrm { v e r } } \cdot g _ { \mathrm { f m t } }.$$g(si​)=gcat​⋅gsol​⋅gver​⋅gfmt​.

若 $g(s_j) = 1$g(sj​)=1，样本加入 $\mathcal{T}^{(k)}$T(k) 并更新配额状态；否则丢弃并重新生成。

训练采用GRPO进行。对于每个提示 $x$x，旧策略 $\pi_{\theta_{\text{old}}}$πθold​​ 生成 $G$G 条轨迹 $y_i = (o_{i,1}, \ldots, o_{i,|y_i|}) \sim \pi_{\theta_{\text{old}}}(\cdot \mid x)$yi​=(oi,1​,…,oi,∣yi​∣​)∼πθold​​(⋅∣x)。每条轨迹获得标量奖励 $r_i = r(x, y_i)$ri​=r(x,yi​)。GRPO优化剪裁代理目标：

$$\begin{array} { r l } { J _ { \mathrm { G R P O } } ( \theta ) = \mathbb { E } _ { x \sim \mathcal { D } , \, \{ y _ { i } \} \sim \pi _ { \theta _ { \mathrm { o l d } } } } \Bigg [ \frac { 1 } { G } \sum _ { i = 1 } ^ { G } \frac { 1 } { | y _ { i } | } \sum _ { t = 1 } ^ { | y _ { i } | } \operatorname* { m i n } \bigg ( \rho _ { i , t } A _ { i , t } , } & { } \\\\ { \mathrm { c l i p } ( \rho _ { i , t } , 1 - \varepsilon , 1 + \varepsilon ) \, A _ { i , t } \bigg ) \; - \; \beta \, \mathrm { K L } \big ( \pi _ { \theta } \parallel \pi _ { \mathrm { i n i t } } \big ) \Bigg ] } & { } \end{array}$$JGRPO​(θ)=Ex∼D,{yi​}∼πθold​​​[G1​∑i=1G​∣yi​∣1​∑t=1∣yi​∣​min(ρi,t​Ai,t​,clip(ρi,t​,1−ε,1+ε)Ai,t​)−βKL(πθ​∥πinit​)]​​

其中 $\rho_{i,t} = \frac{\pi_{\theta}(o_{i,t}|x,\sigma_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t}|x,\sigma_{i,<t})}$ρi,t​=πθold​​(oi,t​∣x,σi,<t​)πθ​(oi,t​∣x,σi,<t​)​，$\varepsilon$ε 为剪裁阈值，$\beta > 0$β>0 控制KL正则化，$\pi_{\text{init}}$πinit​ 为参考策略。关键创新是组归一化优势：

$$\hat { A } _ { i } = \frac { r _ { i } - \mathrm { m e a n } ( r _ { 1 } , \ldots , r _ { G } ) } { \mathrm { s t d } ( r _ { 1 } , \ldots , r _ { G } ) } .$$A^i​=std(r1​,…,rG​)ri​−mean(r1​,…,rG​)​.

从最大熵视角看，最优策略满足 $\pi ^ { * } ( y \mid x ) \propto \pi _ { \mathrm { i n i t } } ( y \mid x ) \exp ( r ( x , y ) / \beta )$π∗(y∣x)∝πinit​(y∣x)exp(r(x,y)/β)，KL散度存在下界：

$$\mathrm { K L } ( \pi _ { \mathrm { i n i t } } \parallel \pi ^ { * } ) \geq \frac { p ( x ) \big ( 1 - p ( x ) \big ) } { 2 \beta ^ { 2 } },$$KL(πinit​∥π∗)≥2β2p(x)(1−p(x))​,

其中 $p(x)$p(x) 是 $\pi_{\text{init}}$πinit​ 下的通过率。该下界在 $p = 0.5$p=0.5 附近最大化，解释了DPE为何仅保留中等难度样本以提高学习效率。

在第 $k$k 轮迭代中，DPE生成并验证 $\mathcal{T}^{(k)}$T(k)，应用难度感知过滤获得 $\mathcal{T}_{\text{train}}^{(k)}$Ttrain(k)​，并通过GRPO更新模型：$\theta^{(k+1)} = \mathcal{A}_{\text{RL}}\left(\theta^{(k)}; \mathcal{T}_{\text{train}}^{(k)}\right)$θ(k+1)=ARL​(θ(k);Ttrain(k)​)。系统随后重复诊断轮次，通过外部图像源逐步强化薄弱能力并扩展视觉覆盖范围。

实验

• DPE在能力增强、训练稳定性和跨模型迁移性方面优于VisPlay，尤其在STEM、OCR和幻觉缓解方面，得益于其闭环诊断机制。
• DPE以参数高效性实现最先进结果，在复杂视觉数学和定位任务中超越Qwen2.5-VL-72B和GPT-4o等更大模型，凸显数据质量优于规模的价值。
• 消融研究证实DPE的诊断模块对持续改进至关重要，可防止性能振荡并引导数据生成聚焦真实能力差距。
• DPE的图像检索与编辑工具显著扩展视觉多样性，避免早期停滞，并通过覆盖长尾视觉模式提升OCR和数学推理性能。
• DPE生成的数据在各轮迭代中表现出更高且更稳定的文本与图像多样性，避免模板崩溃并维持广泛的语义和视觉覆盖。
• 质量评估显示DPE持续生成高质量、可解且视觉锚定的问题，而VisPlay的输出随时间退化，尤其在正确性和结构方面。
• 案例研究展示DPE能生成完整、结构良好且语义锚定的问题，而VisPlay常生成不完整或无法回答的示例。

作者使用诊断引导的数据演化框架在低数据条件下迭代改进视觉语言模型，在包括STEM、OCR和幻觉缓解在内的多样化基准测试中实现持续提升。结果表明，该方法在各轮迭代中保持稳定性能增长，优于自演化基线和更大规模的最先进模型，尤其在复杂推理和定位任务中表现突出。该方法在不同模型规模下均有效，依赖针对性数据生成而非数据量，诊断反馈确保持续对准模型弱点。

作者使用多智能体系统迭代生成训练数据，DPE在所有轮次中持续生成比VisPlay更高质量的问题，尤其在可解性和正确性方面表现突出。结果表明，DPE保持稳定、接近天花板的质量评分，而VisPlay的质量随时间退化，表明DPE的诊断引导有效维持了数据可靠性。这一质量优势直接支持比自演化基线更稳定、更有效的模型演化。

作者使用DPE生成比VisPlay更高且更稳定的文本和图像多样性数据，通过各轮迭代的平均成对余弦距离衡量。结果表明，DPE随时间维持多样性增益，而VisPlay表现出退化，尤其在后期迭代中，表明DPE机制更能防止分布崩溃和模板回退。这种增强的多样性支持更广泛的语义和视觉覆盖，有助于更稳健的模型性能。

作者使用DPE在低数据条件下增强Qwen3-VL-8B-Instruct，在包括视觉数学和幻觉缓解在内的多个基准测试中实现最先进性能。结果表明，DPE在关键领域优于Qwen2.5-VL-72B和GPT-4o等更大模型，证明针对性数据生成和诊断反馈比单纯参数规模带来更强增益。该方法通过聚焦模型弱点并维持高数据质量和多样性，在各轮迭代中保持稳定改进。

作者使用DPE从少量种子数据集中迭代生成高质量训练数据，尽管仅使用3K样本，仍优于静态训练。结果表明在MMMU、HallusionBench、MathVista和RealWorldQA等多个基准测试中持续提升，表明基于诊断反馈的针对性数据生成比更大静态数据集更有效地增强模型能力。该方法展现出稳定的训练动态和卓越的数据效率，增益在各轮迭代中持续保持而无性能退化。