近期的深度学习方法在图像阴影去除方面取得了令人鼓舞的成果。然而，大多数现有的方法主要集中在阴影区域和非阴影区域内的局部处理上，导致在阴影边界附近出现严重的伪影以及阴影区域与非阴影区域之间光照不一致的问题。对于深度阴影去除模型而言，利用全局上下文关联来改善这一问题仍然具有挑战性。在这项工作中，我们首先提出了一种基于Retinex理论的阴影模型，并从该模型中推导出一种新的基于Transformer的网络，命名为ShandowFormer，以利用非阴影区域帮助恢复阴影区域。为了分层次地捕捉全局信息，我们采用了多尺度通道注意力框架。在此基础上，我们在瓶颈阶段提出了一个带有阴影交互注意力（Shadow-Interaction Attention, SIA）机制的阴影交互模块（Shadow-Interaction Module, SIM），以有效建模阴影区域与非阴影区域之间的上下文关联。我们在三个流行的公开数据集ISTD、ISTD+和SRD上进行了广泛的实验，评估了所提出的方法。实验结果表明，我们的方法在使用多达150倍更少的模型参数的情况下仍能达到最先进的性能。