17 天前

CFR-ICL:基于级联前馈精炼与迭代点击损失的交互式图像分割

Shoukun Sun, Min Xian, Fei Xu, Luca Capriotti, Tiankai Yao
CFR-ICL:基于级联前馈精炼与迭代点击损失的交互式图像分割
摘要

基于点击的交互式图像分割旨在用户点击的引导下,从图像中提取目标对象。近期研究通过引入输出反馈机制,在整体性能上取得了显著进展。然而,在大多数最先进的方法中仍存在两个关键问题:1)推理阶段依赖于僵化的启发式规则,且需要额外的精炼模型;2)用户点击次数与模型性能之间难以实现有效平衡。为解决上述挑战,本文提出一种基于点击并由掩码引导的交互式图像分割框架,包含三个创新组件:级联前向精炼(Cascade-Forward Refinement, CFR)、迭代点击损失(Iterative Click Loss, ICL)以及SUEM图像增强方法。CFR构建了一个统一的推理框架,能够以从粗到精的渐进方式生成分割结果;ICL在模型训练过程中同时优化分割精度并减少用户交互次数;SUEM增强方法则是一种系统化策略,用于构建大规模且多样化的交互式图像分割训练数据集。大量实验表明,所提方法在五个公开数据集上均达到了当前最优性能。尤为突出的是,在Berkeley和DAVIS数据集上,相较于先前的最先进方法,本模型分别将达到0.95以上交并比(IoU)所需的点击次数减少了33.2%和15.5%。