11 天前

f-BRS:重新思考用于交互式分割的反向传播精炼

Konstantin Sofiiuk, Ilia Petrov, Olga Barinova, Anton Konushin
f-BRS:重新思考用于交互式分割的反向传播精炼
摘要

深度神经网络已成为交互式图像分割的主流方法。如我们在实验中所展示的,对于某些图像,经过训练的网络仅需少量点击即可提供准确的分割结果;然而,对于一些未知物体,即便输入大量用户交互信息,仍难以获得令人满意的结果。近期提出的反向传播精炼(Backpropagating Refinement, BRS)方法引入了一种针对交互式分割的优化框架,在处理困难样本时显著提升了性能。然而,BRS需要对深度网络进行多次前向与反向传播,导致每次点击的计算开销显著高于其他方法。为此,我们提出 f-BRS(特征反向传播精炼方案),该方法将优化问题转化为对辅助变量的求解,而非直接作用于网络输入,并仅需对网络的局部小部分进行前向与反向传播。在GrabCut、Berkeley、DAVIS和SBD等多个数据集上的实验表明,f-BRS在保持更高分割精度的同时,相比原始BRS实现了数量级降低的单次点击耗时,达到了新的最先进水平。相关代码与训练好的模型已开源,详见:https://github.com/saic-vul/fbrs_interactive_segmentation。

f-BRS:重新思考用于交互式分割的反向传播精炼 | 最新论文 | HyperAI超神经