Z-LaVI: 基于视觉想象的零样本语言求解器

大规模预训练语言模型在解决下游语言理解任务方面取得了显著进展。然而，它们通常受到报告偏差的影响，这是一种描述书面文本中缺乏显式常识知识的现象，例如“橙子是橙色的”。为了解决这一限制，我们开发了一种新颖的方法——Z-LaVI，以赋予语言模型视觉想象能力。具体而言，我们利用两种互补的“想象”类型：（i）通过检索回忆现有图像；（ii）通过文本到图像生成合成不存在的图像。结合语言输入和这些想象，预训练的视觉-语言模型（如CLIP）最终能够组成一个零样本解决方案来解决原始语言任务。值得注意的是，通过想象增强语言模型可以有效地利用视觉知识来解决纯文本任务。因此，Z-LaVI在多种语言任务中持续提升了现有语言模型的零样本性能。