逐步归一化自注意力网络用于视频息肉分割

现有的视频息肉分割（VPS）模型通常采用卷积神经网络（CNNs）来提取特征。然而，由于其有限的感受野，CNNs无法充分利用连续视频帧中的全局时序和空间信息，导致出现假阳性分割结果。在本文中，我们提出了一种新颖的PNS-Net（Progressively Normalized Self-attention Network，逐步归一化自注意力网络），该网络能够在单个RTX 2080 GPU上以实时速度（约140帧/秒）高效地从息肉视频中学习表示，并且无需任何后处理。我们的PNS-Net仅基于一个基本的归一化自注意力块，完全配备了递归机制和卷积神经网络。在具有挑战性的VPS数据集上的实验表明，所提出的PNS-Net达到了最先进的性能。我们还进行了广泛的实验，研究了通道拆分、软注意力和逐步学习策略的有效性。实验结果表明，我们的PNS-Net在不同的设置下均表现出色，使其成为解决VPS任务的一个有前景的方案。