2 个月前

DHR:基于双特征驱动的跨类内类区域层次重平衡用于弱监督语义分割

Sanghyun Jo; Fei Pan; In-Jae Yu; Kyungsu Kim
DHR:基于双特征驱动的跨类内类区域层次重平衡用于弱监督语义分割
摘要

弱监督语义分割(WSS)能够在有限的数据下保证高质量的分割效果,并且在作为大规模视觉模型(如Segment Anything)的输入种子掩模时表现出色。然而,WSS在处理小类时面临挑战,因为在包含多个相邻类别的图像中,这些小类容易被忽略,这一限制源自传统扩展方法(如随机游走算法)的过拟合问题。我们首先通过使用无监督和弱监督特征图来解决这一问题,而不是采用传统的技术手段,从而实现层次化的掩模增强。该方法能够明确区分高层次类别,并进一步分离其相关的低层次类别,确保所有类别在掩模中正确恢复而不丢失小类。我们的方法通过广泛的实验验证,在五个基准数据集上显著提升了WSS的效果(VOC:79.8%,COCO:53.9%,Context:49.0%,ADE:32.9%,Stuff:37.4%),在VOC验证集上的表现与全监督方法的差距减少了超过84%。代码可在https://github.com/shjo-april/DHR 获取。

DHR:基于双特征驱动的跨类内类区域层次重平衡用于弱监督语义分割 | 最新论文 | HyperAI超神经