摘要
视频超分辨率（VSR）旨在从对应的低分辨率（LR）帧（参考帧）及其多个邻近帧（支持帧）中恢复出逼真的高分辨率（HR）视频帧。由于摄像机或物体的运动变化，参考帧和每个支持帧之间存在未对齐的情况。因此，时间对齐是VSR中的一个具有挑战性但又非常重要的问题。以往的VSR方法通常利用参考帧与每个支持帧之间的光流来实现支持帧的时间对齐。因此，这些基于图像级包装的模型的性能在很大程度上取决于光流预测的准确性，而光流预测不准确会导致包装后的支持帧出现伪影，进而影响重建的高分辨率视频帧的质量。为了解决这一局限性，本文提出了一种时间可变形对齐网络（TDAN），该网络能够在特征层面上自适应地对齐参考帧和每个支持帧，而无需计算光流。TDAN利用来自参考帧和支持帧的特征动态预测采样卷积核的偏移量。通过使用相应的卷积核，TDAN将支持帧转换以与参考帧对齐。为了预测高分辨率视频帧，采用了接收已对齐的支持帧和参考帧的重建网络。实验结果证明了所提出的基于TDAN的VSR模型的有效性。