基于注意力机制的编码器-解码器网络进行视频摘要生成

本文通过将监督视频摘要问题表述为序列到序列学习问题来解决该问题，其中输入是一系列原始视频帧，输出则是一个关键镜头序列。我们的核心思想是利用带有注意力机制的深度摘要网络来模拟人类选择关键镜头的方式。为此，我们提出了一种名为基于注意力机制的编码器-解码器网络进行视频摘要（Attentive encoder-decoder networks for Video Summarization, AVS）的新颖框架。在该框架中，编码器使用双向长短期记忆网络（Bidirectional Long Short-Term Memory, BiLSTM）对输入视频帧之间的上下文信息进行编码。对于解码器部分，则分别探索了基于加性和乘性目标函数的两种注意力机制的LSTM网络。我们在三个视频摘要基准数据集上进行了广泛的实验，即SumMe和TVSum数据集。实验结果表明，所提出的基于AVS的方法相较于现有最先进方法具有显著优势，在两个数据集上的性能分别提高了0.8%至3%。