ViNet：突破视觉模态在视听显著性预测中的极限

我们提出了一种用于视听显著性预测的ViNet架构。ViNet是一种全卷积编码器-解码器架构。编码器使用了经过动作识别训练的网络提取的视觉特征，而解码器通过三线性插值和3D卷积结合多层级特征来推断显著性图。ViNet的整体架构在概念上非常简单；它是因果性的，并且可以实时运行（60帧/秒）。尽管ViNet不使用音频作为输入，但在九个不同的数据集（三个仅视觉数据集和六个视听数据集）上，其性能仍然超过了最先进的视听显著性预测模型。对于AVE数据集，ViNet在CC、SIM和AUC指标上的表现也超过了人类水平，据我们所知，这是首个达到这一水平的网络。此外，我们还探索了通过在解码器中加入音频特征来改进ViNet架构的变体。令我们惊讶的是，在充分训练后，该网络对输入音频变得无感，并且无论输入如何都提供相同的输出。有趣的是，我们在之前最先进的视听显著性预测模型\cite{tsiami2020stavis}中也观察到了类似的行为。我们的发现与以往基于深度学习的视听显著性预测研究相悖，表明未来的研究需要更有效地整合音频信息。代码和预训练模型可在https://github.com/samyak0210/ViNet获取。