我们提出了一种有效的方法，用于逐步整合与优化RGB-D显著性目标检测（SOD）中的跨模态互补信息。所提出的网络主要解决了两个关键挑战：1）如何高效融合RGB图像与其对应深度图之间的互补信息；2）如何自适应地选择更具显著性相关性的特征。首先，我们设计了一种跨模态特征调制（cross-modality feature modulation, cmFM）模块，利用深度特征作为先验信息，增强特征表示能力，从而建模RGB-D数据之间的互补关系。其次，我们提出一种自适应特征选择（adaptive feature selection, AFS）模块，用于筛选显著性相关特征并抑制低质量特征。该模块通过多模态空间特征融合机制，同时考虑通道特征的自模态与跨模态依赖关系。第三，我们引入一种显著性引导的位置-边缘注意力（saliency-guided position-edge attention, sg-PEA）模块，引导网络更加关注显著性相关区域。上述三个模块共同构成一个整体结构，称为cmMS模块，能够以粗到精的层级方式逐步优化显著性特征。结合自底向上的推理机制，所生成的精细化显著性特征能够实现高精度且边缘保持良好的SOD结果。大量实验表明，该网络在六个主流RGB-D SOD基准数据集上均优于现有最先进方法。