近年来，基于RGB-D图像的显著性检测受到了越来越多的研究关注。以往的模型通常采用早期融合或结果融合策略来融合输入的RGB图像与深度数据，或其显著性图，但这类方法往往面临分布差异或信息丢失的问题。另一些模型虽采用特征融合策略，却受限于线性特征融合方法，难以充分挖掘多模态信息间的复杂关系。为此，本文提出在两种模态中学习到的注意力机制进行融合。受非局部（Non-local）模型的启发，我们引入自注意力机制以及模态间相互注意力，以传播长距离上下文依赖关系，从而更准确地融合多模态信息，实现注意力学习与上下文传播。考虑到另一模态注意力的可靠性，我们进一步提出一种选择性注意力机制，用于加权新引入的注意力项。我们将所提出的注意力模块嵌入到双流卷积神经网络（CNN）中，用于RGB-D显著性检测。此外，我们还设计了一种残差融合模块，用于将深度分支的解码特征融合至RGB分支。在七个基准数据集上的实验结果表明，所提出的模型组件具有显著有效性，且最终的显著性检测模型性能优越。相关代码与生成的显著性图已公开发布于：https://github.com/nnizhang/S2MA。