基于场景图嵌入的多样化且相关的视觉叙事

在图像序列的自动生成故事任务中，一个关键问题在于生成的文本往往使用过于通用的词汇和句法结构，难以匹配人类撰写文本的分布特征。为解决这一问题，我们提出通过从图像中提取场景图（scene graphs），显式地表示物体及其相互关系。利用场景图的嵌入表示，我们的模型在生成故事时能够更明确地对物体及其关系进行推理，相较于以往方法中采用的物体分类器所提取的全局特征，具有更强的表达能力。我们引入了综合考量生成故事中词汇与短语多样性的评价指标，同时评估模型对叙事关键图像特征的引用能力。实验结果表明，我们的方法在各项指标上均优于先前系统。此外，实验还显示，我们的模型在基于参考文本的评价指标上也取得了具有竞争力的性能。