摘要
本文提出了一种用于电影故事问答（QA）的渐进注意力记忆网络（Progressive Attention Memory Network, PAMN）。与视觉问答（VQA）相比，电影故事问答在两个方面更具挑战性：(1) 由于电影通常时长超过一小时，确定与问题相关的时间片段较为困难；(2) 电影故事 QA 同时包含视频和字幕，不同问题需要不同的模态来推断答案。为克服这些挑战，PAMN 具有三个主要特点：(1) 渐进注意力机制，该机制利用问题和答案的线索逐步剔除记忆中的无关时间片段；(2) 动态模态融合，该机制自适应地确定每种模态对当前问题回答的贡献；(3) 信念修正回答方案，该方案依次修正每个候选答案的预测得分。在公开可用的基准数据集 MovieQA 和 TVQA 上进行的实验表明，PAMN 的每个特点都对其电影故事 QA 架构做出了贡献，并提高了性能，达到了当前最先进的结果。此外，还提供了通过可视化 PAMN 推理机制的定性分析。