一句话总结

MIT 和哈佛大学的研究者发现，神经语言模型中的辅助视觉监督主要在低数据场景中提升词汇学习效率，但当前多模态方法仍无法有效利用视觉信息，在人类水平数据上构建类似人类的词表征。

核心贡献

• 该工作在多种语言模型架构上评估词汇学习，包括 CLIP、GIT 和 Flamingo，并在不同规模数据集上比较加入与不加入辅助视觉监督的训练结果。评估维度包括句法类别、词汇关系、语义特征、词相似度，以及与人类神经表征的对齐程度。

• 视觉监督主要在低数据场景中提升词汇学习效率；在这些场景中，受视觉监督的模型能够比纯语言模型使用更少的文本进行学习。

• 视觉信息和文本信息并非冗余：主要由视觉信息驱动的模型会产生与主要由词共现信息驱动的模型定性不同的词表征，而当前多模态方法在更大规模数据下仍难以有效整合这两类信号。

引言

神经语言模型是 NLP 和人类语言处理计算模型中的有力工具，但它们并不是人类认知发展的良好模型，因为它们需要的训练数据量远多于儿童在语言习得过程中接收的数据量。视觉可能是弥合这一差距的一条有前景的路径，因为人类学习者会将词语锚定在跨模态的感知经验中，例如视觉、触觉和听觉。

先前的多模态模型在需要对图像和文本联合推理的任务上取得了进展，但这些模型是否真正获得了更接近人类的语言学习效率，尤其是词义知识，仍然不清楚。现有研究也常常只考察语言习得的狭窄方面或简化设置，使当前视觉接地架构在受控条件下如何学习词汇语义仍然开放。

作者通过测试视觉接地是否能够改善神经语言模型中的词汇学习来回应这一问题。他们将 CLIP、GIT 和 Flamingo 等视觉接地模型与纯语言对照模型进行比较，并仔细控制数据集规模和词共现信息的数量。他们使用多种词知识测试来评估模型，包括句法类别、词汇关系、语义特征、语义相似性和神经反应预测。其主要贡献在于表明视觉接地可以改善词汇学习的某些方面，但仅在非常小的数据场景中有效，并且是在分布性语言信息有限的时候。结果还显示，当前模型通常无法有效结合感知上下文和文本上下文，这限制了它们作为视觉接地语言习得计算模型的价值。

数据集

• 作者没有引入训练语料；他们构建了一组用于词汇学习的评测基准。数据来自人类词相似度判断、词汇关系数据集、人类语义特征规范、语料词性标注、词典例句和人类脑反应测量。

• 词相似度基准：

  • 来源：Bruni et al. (2012) 收集的人类关联性判断，与 WordSim-353、SimLex-999、SimVerb-3500 和 MEN 等常见词相似度基准相关。
  • 组成：被用于判断语义相似性或关联性的词对。
  • 过滤规则：作者使用 Kuperman et al. (2012) 的习得年龄信息，保留通常由10岁以下儿童习得的词。作者指出，这种过滤几乎没有改变结果。
  • 处理和使用方式：从语言模型中提取隐藏层词表征，计算成对余弦相似度，并使用斯皮尔曼相关性比较模型相似度与人类判断。根据相关性选择最佳层。

• 词汇关系预测基准：

  • 来源：CogALex-V。
  • 组成：训练集和测试集中均包含2500多个词对。
  • 标签体系：五种词汇关系类别：同义、反义、上下位、部分整体关系和随机。
  • 处理和使用方式：使用每个词对的隐藏表征差值作为线性探针输入。每层训练一个探针，使用验证准确率选择最佳层，报告性能为测试准确率。

• 语义特征预测基准：

  • 来源：Buchanan et al. (2019) 构建的数据集。
  • 组成：人类标注者为目标词编写语义特征，例如描述可食用性或大小的特征。
  • 处理和使用方式：评估语言模型表征预测人类生成语义特征的能力。

• 词性预测基准：

  • 来源：基于语料的词性标注。
  • 组成：每个词被标记为在该语料中出现频率最高的词性。
  • 覆盖范围：包括词相似度、词汇关系和语义特征基准中的所有词。
  • 处理和使用方式：评估模型预测单个词最常见语料词性标签的能力。

• 基于上下文的词理解基准：

  • 来源：来自 sentence.yourdictionary.com 的包含目标词的真实句子。
  • 组成：包含原句和最小修改句的句子对。
  • 规模：名词有280K个句子对，动词有128K个，形容词有72K个，形成三个子基准。
  • 构造规则：句子被最小修改，使目标词在上下文中变得不那么合适，同时保持句子语法正确。修改由大规模预训练语言模型选择，使修改后的句子概率更低但仍语法正确。
  • 使用方式：模型性能通过模型赋予原句概率高于修改句概率的样本比例来衡量。

• 脑反应预测基准：

  • 来源：Pereira et al. (2018) 收集的句子级脑反应数据集，也被 Schrimpf et al. (2021) 使用。
  • 组成：句子脑反应与语言模型句子表征配对。
  • 处理和使用方式：使用线性回归模型从隐藏表征预测脑反应。性能评估为 held-out 数据上预测脑反应与实际脑反应之间的相关性，并遵循 Kauf et al. (2023) 的拟合程序。

方法

作者构建了一个受控训练流程，用于在相同数据条件下比较纯语言模型、视觉接地语言模型和单字词学习基线。该流程从大规模网络级多模态语料中采样图像图注对，并使用 next-token 预测、对比式图像图注匹配或单词标签预测训练模型。这一设计分离了视觉信息、分布上下文和句法组织对词汇学习的贡献。

基础训练数据由图像图注对组成。对于纯语言模型，只使用文本部分。训练目标是标准 next-token 预测，其中模型获得部分图注并被训练预测下一个 token。语言架构是紧凑的六层 GPT-2 风格 transformer。保持架构较浅且固定，使作者能够在不受大模型容量混杂因素干扰的情况下检查学习行为。

对于视觉接地模型，作者从预训练视觉模型产生的图像表征开始，而不是从配对的图像图注数据中学习视觉特征。具体而言，他们使用在无标注图像上预训练的 DINO Vision Transformer。图像特征取自特殊 class token 的最终隐藏状态，产生一个汇总整幅图像的向量。这一选择允许视觉编码器保持冻结，同时下游语言模块学习如何使用视觉表征。

第一类视觉接地模型采用类似 GIT 的生成式目标。在该设置中，图像表征被插入模型上下文，语言模型被训练在视觉上下文和先前文本条件下生成图注中的下一个词。实际上，图像特征成为语言生成的提示或条件信号的一部分。该架构测试语言模型能否在以固定视觉表征为基础的条件下学习图注生成。

第二类视觉接地模型采用与 CLIP 相关的对比式图像图注匹配目标。在这里，模型学习一个嵌入空间，使匹配的图像图注对的表征更靠近，而不匹配对的表征更远离。在作者实现中，视觉特征由无监督视觉编码器预计算，语言模块从头训练以与这些特征对齐。该设计与标准预训练 CLIP 不完全相同，因为视觉编码器并未在文本图像对上共同训练，并且语言组件小于典型 CLIP 文本编码器。该设置的重要特征在于，模型通过跨模态对比对齐学习词相关语义结构，而不是仅通过序列生成。

为了将视觉信息的影响与句子上下文的影响分离，作者还训练单词模型。在这些模型中，图注被分解为单个词，每个词被独立处理为对应图像的标签。随后，模型以生成式目标训练，使用单词作为目标序列；或以对比目标训练，使用单词作为需要与图像匹配的文本侧表征。这会移除共现词、词序和句法结构对学习信号的影响。因此，学习到的词表征只依赖视觉证据和词标签，而不依赖词在自然语言中通常伴随的分布上下文。

该流程还包括仅词基线。这些模型试图仅从特殊 class token 预测单词标签，不使用视觉输入或上下文 tokens。因为模型只能利用训练标签中每个词的频率，这些基线提供了一个简单参照点，用于衡量多少性能来自非语言记忆或先验统计，而不是来自接地表征学习。

训练规模被变化，以考察模型性能如何随更多或更少图像图注对的暴露而改变。样本数量从很小到很大，训练时长根据评测集损失调整。较小数据集通常需要更多训练轮次才能收敛，而较大数据集每个样本需要较少重复暴露。在所有模型变体中，训练过程被组织为保持核心比较清晰：每个模型接收相同的基础监督信号，但区别在于是否看到视觉特征、词上下文、句法结构，或只有孤立的词标签。

实验

评测框架通过词相似度、词汇关系、语义特征预测、词性标注、基于上下文的词理解和脑反应预测等基准比较纯语言模型和多模态模型，使用隐藏表征、线性探针、似然比较和回归分析。实验表明，视觉输入尤其是单词接地，可以在小数据场景中改善具体词和语义特征的学习，但它并不稳定帮助词汇关系、词性标注、动词或颜色词判断、句子处理或脑对齐。添加文本上下文或使用不同架构和视觉编码器大多未能产生稳健的多模态增益，表明当前模型难以有效结合视觉和分布信息。