多模态差异网络用于视觉问题生成

从图像生成自然问题是一项需要利用视觉和语言模态来学习多模态表示的语义任务。图像可以包含多个与生成问题相关的视觉和语言上下文，例如地点、标题和标签。在本文中，我们提出使用示例来获取相关上下文。通过使用多模态差异网络（Multimodal Differential Network），我们能够生成自然且引人入胜的问题。人类研究验证了生成的问题与自然问题表现出显著的相似性。此外，我们在定量指标（BLEU、METEOR、ROUGE 和 CIDEr）上观察到，所提出的 方法显著优于现有最先进基准。