可变形3D卷积用于视频超分辨率

视频序列中的时空信息对视频超分辨率（SR）任务具有重要意义。然而，现有的视频超分辨率方法通常采用串行方式分别进行空间特征提取与时间运动补偿，导致难以充分挖掘和利用时空信息。为此，本文提出一种可变形3D卷积网络（D3Dnet），旨在从空间与时间两个维度协同融合时空信息，以提升视频超分辨率性能。具体而言，我们引入可变形3D卷积（D3D），将可变形卷积与3D卷积相结合，从而在保持优异时空建模能力的同时，具备更强的运动感知建模灵活性。大量实验结果验证了D3D在挖掘时空信息方面的有效性。与现有方法的对比表明，所提出的网络在视频超分辨率任务中达到了当前最优性能。代码已开源，获取地址为：https://github.com/XinyiYing/D3Dnet。