基于不确定性启发的RGB-D显著性检测

我们提出了首个利用不确定性进行RGB-D显著性检测的随机框架，该框架通过从数据标注过程中学习来实现。现有的RGB-D显著性检测模型将此任务视为一个点估计问题，即通过确定性的学习流程预测单一的显著性图。我们认为，然而，这种确定性的解决方案相对不够明确。受显著性数据标注过程的启发，我们提出了一种生成架构以实现概率性的RGB-D显著性检测，该架构利用潜在变量来建模标注变化。我们的框架包含两个主要模型：1）生成模型，它将输入图像和潜在变量映射到随机的显著性预测；2）推理模型，它通过从真实或近似后验分布中采样潜在变量来逐步更新潜在变量。生成模型是一个编码器-解码器显著性网络。为了推断潜在变量，我们引入了两种不同的解决方案：i）条件变分自编码器（Conditional Variational Auto-encoder），其中包含一个额外的编码器来近似潜在变量的后验分布；ii）交替反向传播技术（Alternating Back-Propagation），该技术直接从真实的后验分布中采样潜在变量。在六个具有挑战性的RGB-D基准数据集上的定性和定量结果表明，我们的方法在学习显著性图的分布方面表现出优越性能。源代码已通过我们的项目页面公开提供：https://github.com/JingZhang617/UCNet。