一句话总结

康奈尔科技大学和康奈尔大学提出 COGEN，它紧密耦合语言理解与生成，从而能够在双人参照游戏中从用户交互反馈中持续学习，相比未耦合系统最高带来 $26\%$26% 的绝对性能提升，并产生显著更接近人类的语言输出。

核心贡献

• 所提出的系统在双人参照游戏中耦合语言理解与生成，以从用户交互中持续学习，其中 agent 在倾听、表达以及从交互反馈中学习之间交替进行。它通过近似 Rational Speech Acts 联合推断和共享训练数据实现耦合，并将交互反馈作为奖励，用于部署轮次中的上下文老虎机学习。

• 跨越数千次部署的人机交互实验通过目标选择准确率评估理解能力，并通过人类从生成描述中挑选目标的准确率评估生成能力。耦合系统随时间持续改进，相对未耦合系统最高带来 26% 的绝对性能提升，准确率最高高出 17%。

• 语言分析表明，理解与生成耦合改变了 agent 在各学习轮次中生成的语言。所得语言与人类语言显著更接近，说明除准确率提升外还存在质性效应。

引言

在人类中，语言理解与生成相互依存；如果模型能够通过运用一种能力来提升另一种能力，计算系统可能从中受益。作者利用一种持续学习设置，让单个视觉语言模型在针对抽象视觉刺激的双人参照游戏中与人类伙伴交互，并在听者和说者角色之间交替。早期工作通常在更静态或更分离的设置中研究语用推理、指令学习或 RLHF 风格训练，这使得难以观察理解与生成如何随时间相互重塑，而且这些任务对当前模型仍然困难。作者的主要贡献是在推理时通过对对方角色的联合推理耦合理解与生成，并在训练时把人类交互反馈转换为两个角色的样例和奖励，从而形成一个提升性能、数据效率和人类语言相似度的良性循环。

数据集

• 作者从 KILOGRAM 数据集构建视觉游戏池，该数据集包含 1,016 个抽象七巧板形状。

• 每个游戏上下文由从 KILOGRAM 采样的 10 张图像构建。为了让上下文更具挑战性且视觉一致，他们使用在 KILOGRAM 标注上微调的 CLIP 模型来促进同一上下文内图像之间的视觉相似性。

• 交互数据通过 MTurk 上的人机游戏在四个部署轮次中收集。对每个系统和每个轮次，作者收集相同数量的听者角色交互和说者角色交互。

• 交互规模从第 1 轮每个角色 2,000 次开始，每轮增加 500 次，四轮分别得到每个角色 2,000、2,500、3,000 和 3,500 次交互。

• 在使用模型交互数据之前，作者使用 104 场成功的人-人游戏初始化训练。他们还在后续轮次中复用这些样例，并赋予 +1 奖励。

• 他们留出 280 场成功的人-人游戏作为验证集，用于整个实验过程中的模型选择。

• 在线反馈过程每轮创建两个数据子集：D_l 用于理解，D_s 用于生成。

• 一个理解数据点包含图像上下文、一条人类话语、模型预测的目标图像索引和一个二值奖励。当预测目标正确时，奖励为 +1，否则为 -1。

• 一个生成数据点包含图像上下文、一条模型生成话语、目标图像索引和一个二值奖励。奖励反映人类听者在听到模型话语后是否正确选择了目标。

• 这些数据集是带有奖励标记的模型交互日志，而不是静态监督样本，也不是外部成对偏好标注。

• 成功的人-人数据用于初始化、验证，并在后续持续训练中作为奖励为 +1 的样例使用。没有指定将在线交互数据与初始人-人样例组合时的固定混合比例。

• 没有描述裁剪策略或额外的图像处理。主要数据集处理细节包括基于 KILOGRAM 的上下文构建、CLIP 引导的相似性选择，以及基于二值成功结果的奖励标注。

方法

作者利用一个参数为 $\theta$θ 的自回归多模态语言模型 IDEFICS2 8B 扮演两个互补角色。交互场景是双人参照游戏，双方参与者观察由抽象七巧板图像组成的上下文 $\mathcal{I} = \{I_1, \ldots, I_N\}$I={I1​,…,IN​}，通常顺序不同。一名玩家是说者，被分配目标索引 $t$t，并生成一条话语 $u$u，用来向听者指认目标图像 $I_t$It​。听者随后从上下文中选择一张图像。当选中的图像与预期目标匹配时，交互成功。如下图所示：

模型用两个参数化分布实例化两个角色。在说者角色中，它建模

$$P_s(u \mid \mathcal{I}, t; \theta),$$Ps​(u∣I,t;θ),

给定视觉上下文 $\mathcal{I}$I 和目标 $t$t 时生成话语 $u$u 的概率。在听者角色中，它建模

$$P_l(t \mid \mathcal{I}, u; \theta),$$Pl​(t∣I,u;θ),

给定视觉上下文和话语 $u$u 时选择目标 $t$t 的概率。话语生成和目标选择都通过自回归解码过程处理，听者预测可以写为

$$\hat{t} = \arg\max_t P_l(t \mid \mathcal{I}, u; \theta).$$t^=argtmax​Pl​(t∣I,u;θ).

学习按轮次进行。在第 $\rho$ρ 轮，部署模型使用参数 $\theta_\rho$θρ​ 与人类伙伴交互。当模型扮演听者时，它接收一条人类生成话语 $u$u，预测 $\hat{t}$t^，并接收表示选择是否正确的一元反馈。这创建一个理解数据点

$$(\mathcal{I}, u, \hat{t}, r),$$(I,u,t^,r),

其中 $r = 1$r=1 表示成功，$r = -1$r=−1 表示失败。当模型扮演说者时，它采样

$$\hat{u} \sim P_s(u \mid \mathcal{I}, t; \theta_\rho),$$u^∼Ps​(u∣I,t;θρ​),

人类听者的结果提供奖励，从而产生一个生成数据点

$$(\mathcal{I}, \hat{u}, t, r).$$(I,u^,t,r).

每轮产生用于理解的数据集 $\mathcal{D}_{l,\rho}$Dl,ρ​ 和用于生成的数据集 $\mathcal{D}_{s,\rho}$Ds,ρ​。跨轮次，该方法累积迄今收集到的所有反馈：

$$\mathcal{D}_{l,\leq \rho} = \bigcup_{i=1}^{\rho} \mathcal{D}_{l,i}, \qquad \mathcal{D}_{s,\leq \rho} = \bigcup_{i=1}^{\rho} \mathcal{D}_{s,i}.$$Dl,≤ρ​=i=1⋃ρ​Dl,i​,Ds,≤ρ​=i=1⋃ρ​Ds,i​.

下一轮模型 $\theta_{\rho+1}$θρ+1​ 使用所有累积交互数据从原始模型权重估计得到。

训练目标被表述为融合理解与生成的多任务上下文老虎机问题。作者使用 REINFORCE 风格策略梯度更新。对于较早轮次 $m$m 收集的理解样例 $(\mathcal{I}, u, \hat{t}, r)$(I,u,t^,r)，梯度为

$$\Delta_l = c_l \, r \, \nabla_\theta \log P_l(\hat{t} \mid \mathcal{I}, u; \theta),$$Δl​=cl​r∇θ​logPl​(t^∣I,u;θ),

并带有基于情形的逆倾向系数

$$c_l = \begin{cases} \frac{P_l(\hat{t} \mid \mathcal{I}, u; \theta)}{P_l(\hat{t} \mid \mathcal{I}, u; \theta_m)}, & r = -1, \\ 1, & \text{otherwise}. \end{cases}$$cl​={Pl​(t^∣I,u;θm​)Pl​(t^∣I,u;θ)​,1,​r=−1,otherwise.​

这里 $\theta_m$θm​ 表示交互最初生成时使用的参数。该系数随着失败样例的预测概率降低而减弱其影响，防止对数损失变得无界并导致训练不稳定。生成梯度具有相同形式，但使用 $P_s(\hat{u} \mid \mathcal{I}, t; \theta)$Ps​(u^∣I,t;θ)。整体更新由理解样例和生成样例的梯度相加组合得到。

一个核心设计选择是在数据层面耦合理解与生成。对于每一条获得正奖励的交互，该方法把来自一个角色的数据转换为对方角色的训练数据。给定第 $\rho$ρ 轮数据集，作者使用成功的生成数据扩充理解集合，并使用成功的理解数据扩充生成集合：

$$\mathcal{D}_{l,\rho} = \mathcal{D}_{l,\rho} \cup \{(\mathcal{I}, \hat{u}, t, r) \in \mathcal{D}_{s,\rho} \mid r = 1\},$$Dl,ρ​=Dl,ρ​∪{(I,u^,t,r)∈Ds,ρ​∣r=1}, $$\mathcal{D}_{s,\rho} = \mathcal{D}_{s,\rho} \cup \{(\mathcal{I}, u, \hat{t}, r) \in \mathcal{D}_{l,\rho} \mid r = 1\}.$$Ds,ρ​=Ds,ρ​∪{(I,u,t^,r)∈Dl,ρ​∣r=1}.

仅转换正奖励。成功的听者预测意味着人类话语是目标图像的有效描述，因此可用于训练说者。相反，成功的说者话语提供了可靠的理解目标。负反馈不会被转换，因为失败的生成可能源于歧义、人类错误或听者错误选择，将这类样例用于对方角色可能引入误导性监督。这种数据共享过程还将人类话语引入说者的训练信号，有助于防止模型语言偏离人类语言。完整持续学习循环和耦合机制如下方的框架图所示：

推理也在两个角色之间耦合。对于理解，该方法定义一个联合分布，使用加权几何平均组合听者分布和说者分布：

$$P_l^{j}(t \mid \mathcal{I}, u; \theta) = \frac{ P_l(t \mid \mathcal{I}, u; \theta)^{\lambda_l} P_s(u \mid \mathcal{I}, t; \theta)^{1-\lambda_l} }{ \sum_{t'=1}^{N} P_l(t' \mid \mathcal{I}, u; \theta)^{\lambda_l} P_s(u \mid \mathcal{I}, t'; \theta)^{1-\lambda_l} }.$$Plj​(t∣I,u;θ)=∑t′=1N​Pl​(t′∣I,u;θ)λl​Ps​(u∣I,t′;θ)1−λl​Pl​(t∣I,u;θ)λl​Ps​(u∣I,t;θ)1−λl​​.

超参数 $\lambda_l$λl​ 控制说者模型影响听者推理的程度。由于候选目标数量较少，这个联合分布可以精确归一化。

对于生成，该方法使用类似的联合分布：

$$P_s^{j}(u \mid \mathcal{I}, t; \theta) \propto P_s(u \mid \mathcal{I}, t; \theta)^{\lambda_s} P_l(t \mid \mathcal{I}, u; \theta)^{1-\lambda_s}.$$Psj​(u∣I,t;θ)∝Ps​(u∣I,t;θ)λs​Pl​(t∣I,u;θ)1−λs​.

由于可能话语空间很大，精确归一化不可计算。作为替代，该方法从 $P_s(u \mid \mathcal{I}, t; \theta)$Ps​(u∣I,t;θ) 采样 $k$k 个候选话语，并在这些样本上归一化加权几何分数。实际中，在联合生成期间说者项可能过度偏好短话语，因此作者为说者推理设置 $\lambda_s = 0$λs​=0。即便如此，说者模型仍然处于核心地位，因为它提供了随后由听者模型重新排序的候选话语。这一推理过程具有一层语用推理的特征，其中每个角色都部分地通过对方角色的视角来评估。

实验

实验使用 KILOGRAM 七巧板参照游戏，让一个经过指令微调的视觉语言模型在多个持续学习轮次中与人类听者交互，并把一个在理解与生成之间共享数据的完全耦合系统与消融设置以及未耦合基线进行比较。性能结果表明，耦合带来更快且更强的提升，尤其在生成方面，并大幅提高样本效率；仅靠人类适应无法解释这些提升。语言分析进一步表明，耦合使话语更接近人类模式，限制漂移和词汇收缩，并保留更多依赖上下文的语用多样性；不过空间推理和词汇丰富度仍然是局限。