2 个月前

简单与复杂的时间重复在视频显著性预测中的对比研究

Panagiotis Linardos; Eva Mohedano; Juan Jose Nieto; Noel E. O'Connor; Xavier Giro-i-Nieto; Kevin McGuinness
简单与复杂的时间重复在视频显著性预测中的对比研究
摘要

本文研究了通过引入两种递归机制来改进现有的静态显著性预测神经网络架构,这两种递归机制能够整合时间域的信息。第一种改进是在架构中添加了一个ConvLSTM(卷积长短期记忆网络),而第二种则是对内部卷积状态进行概念上较为简单的指数移动平均。我们使用在SALICON数据集上预训练的权重,并在DHF1K数据集上对模型进行了微调。实验结果表明,这两种改进方法均达到了当前最佳水平,并且生成的显著性图相似。源代码可在https://git.io/fjPiB 获取。