摘要
我们提出了一种名为读写记忆网络（Read-Write Memory Network, RWMN）的新模型，用于大规模、多模态电影故事理解的问答任务。RWMN模型的关键在于设计由多个卷积层组成的读网络和写网络，这使得记忆读取和写入操作具有较高的容量和灵活性。现有的增强记忆网络模型通常将每个记忆槽视为独立的模块，而我们使用多层卷积神经网络（CNNs）的方法允许模型以块的形式读取和写入连续的记忆单元，这种方式在表示顺序故事时更为合理，因为相邻的记忆块往往具有较强的关联性。为了评估该模型，我们将其应用于MovieQA基准测试中的所有六个任务，并在多个任务上取得了最佳的准确性，特别是在视觉问答任务上表现尤为突出。我们的模型展示了不仅能够更好地理解故事内容，还能理解更为抽象的信息，如角色之间的关系及其行为的原因。