通过预测故事中的锚点词嵌入实现视觉叙事

我们提出了一种用于视觉叙事任务的学习模型。其核心思想是：从图像中预测锚定词嵌入（anchor word embeddings），并结合这些嵌入与图像特征共同生成叙事句子。为训练该预测器，我们采用真实故事中随机采样的名词嵌入作为目标锚定词嵌入。在对一系列图像进行叙事时，我们使用预测得到的锚定词嵌入与图像特征作为联合输入，输入至一个序列到序列（seq2seq）模型中。与当前最先进的方法相比，所提出的模型在结构设计上更为简洁，易于优化，并在大多数自动评估指标上取得了最佳性能。在人工评估中，该方法同样优于现有对比方法。