11 天前
FocalClick:迈向实用的交互式图像分割
Xi Chen, Zhiyan Zhao, Yilei Zhang, Manni Duan, Donglian Qi, Hengshuang Zhao

摘要
交互式分割允许用户通过点击正样本或负样本的方式提取目标掩码。尽管此前已有大量研究探索该方向,但学术方法与工业应用需求之间仍存在明显差距:首先,现有模型在低功耗设备上的运行效率不足;其次,当用于优化已有掩码时,模型表现不佳,容易误删正确区域。FocalClick 通过在局部区域预测并更新掩码,同时解决了上述两个问题。为提升效率,我们提出将全图缓慢的预测过程分解为两个快速推理步骤:在目标区域(Target Crop)进行粗略分割,在关注区域(Focus Crop)进行局部精细化调整。为支持与已有掩码协同工作,我们引入一项新任务——交互式掩码修正(Interactive Mask Correction),并提出“渐进融合”(Progressive Merge)作为解决方案。该方法利用形态学信息判断应保留或更新的区域,使用户能够高效地对任意已有掩码进行精细化修正。实验表明,FocalClick 在保持与当前最优(SOTA)方法相当性能的同时,显著降低了计算量(FLOPs),且在修正已有掩码方面展现出显著优势。代码与数据将公开于 github.com/XavierCHEN34/ClickSEG。