在本文中，我们提出了一种新颖的视频超分辨率方法，旨在从低分辨率（LR）视频生成高保真高分辨率（HR）视频。以往的方法主要利用时间邻近帧来辅助当前帧的超分辨率处理。这些方法由于空间帧对齐的挑战以及相似低分辨率邻近帧提供的有用信息不足，性能提升有限。相比之下，我们设计了一种跨帧非局部注意力机制，该机制允许在无需帧对齐的情况下进行视频超分辨率处理，从而对视频中的大运动更加鲁棒。此外，为了获取超出邻近帧的信息，我们设计了一种新型的记忆增强注意力模块，在超分辨率训练过程中记忆一般视频细节。实验结果表明，我们的方法在处理大运动视频时，无需对齐帧即可实现优于现有最先进方法的性能。我们将公开源代码。