受阴影影响的图像通常表现出明显的颜色和光照空间差异，从而降低了包括物体检测和分割系统在内的多种视觉应用的性能。为了有效消除现实世界图像中的阴影，同时保留复杂的细节并生成视觉上令人信服的结果，我们引入了一种基于快速傅里叶变换的无掩码阴影去除与修复网络（ShadowRefiner）。具体而言，我们的方法中的阴影去除模块旨在通过空间和频率表示学习，在受阴影影响的图像和无阴影图像之间建立有效的映射关系。为了解决像素错位问题并进一步提高图像质量，我们提出了一种新颖的快速傅里叶注意力机制 Transformer 架构（Fast-Fourier Attention based Transformer, FFAT），其中设计了一种创新的注意力机制以实现精细修复。我们的方法在NTIRE 2024 图像阴影去除挑战赛的感知赛道中荣获冠军，并在保真度赛道中取得了第二名的成绩。此外，全面的实验结果也证明了我们所提出方法的有效性。代码已公开：https://github.com/movingforward100/Shadow_R。