注意力网络在各种视觉问题中成功提升了性能。以往的研究重点在于设计新的注意力模块，并将其单独插入到网络中。本文提出了一种新颖且简单的框架，该框架在整个不同网络层之间共享一个注意力模块，以促进层次信息的融合，这一参数共享模块被称为密集隐式注意（Dense-and-Implicit-Attention, DIA）单元。许多类型的模块都可以用于DIA单元中。由于长短期记忆（Long Short-Term Memory, LSTM）具有捕捉长距离依赖的能力，我们特别关注当DIA单元为改进的LSTM（称为DIA-LSTM）的情况。在基准数据集上的实验表明，DIA-LSTM单元能够强调层次特征之间的相互关系，并显著提高图像分类的准确性。我们进一步通过实验证明，DIA-LSTM在去除整个残差网络中的跳过连接或批归一化时，具有强大的正则化能力，能够稳定深度网络的训练过程。代码已发布在https://github.com/gbup-group/DIANet。