具有上下文调制的神经视频压缩

高效的视频编码高度依赖于对时间冗余的利用，这通常是通过提取和利用新兴的基于条件编码的神经视频编解码器 (NVC) 中的时间上下文来实现的。尽管最新的 NVC 在提高压缩性能方面取得了显著进展，但其固有的时间上下文传播机制缺乏充分利用参考信息的能力，限制了进一步的改进。在本文中，我们通过分两步利用参考帧调制时间上下文来解决该限制。具体而言，我们首先提出流方向来挖掘参考帧和预测帧之间的相互关系，以生成额外的方向时间上下文。此外，我们引入上下文补偿来利用方向上下文来调制从传播参考特征生成的传播时间上下文。通过协同机制和解耦损失监督，可以有效地消除不相关的传播信息以确保更好的上下文建模。实验结果表明，与先进的传统视频编解码器 H.266/VVC 相比，我们的编解码器平均降低了 22.7% 的码率，与之前最先进的 NVC DCVC-FM 相比，平均降低了 10.1% 的码率。代码可从此https URL获取。