通过从修正中学习实现交互式对象分割的持续适应

在交互式物体分割任务中，用户与计算机视觉模型协同工作以完成物体的分割。近期的研究通常采用卷积神经网络（Convolutional Neural Networks, CNNs）来实现该任务：给定一张图像以及用户提供的若干修正作为输入，模型输出相应的分割掩码。这类方法通过在大规模数据集上进行训练，取得了优异的性能，但在测试阶段始终保持模型参数不变。与此不同，我们认识到用户提供的修正可以作为稀疏的训练样本，并提出一种新方法，利用这一思想在测试过程中实时更新模型参数，以适应当前数据。该方法能够实现对特定物体及其背景的适应、对测试集分布偏移的适应、对特定物体类别的专精，甚至在训练与测试阶段成像模态发生显著变化（即领域发生大幅迁移）的情况下仍能有效工作。我们在8个多样化的数据集上进行了大量实验，结果表明：相较于参数冻结的模型，我们的方法在以下三种情形下显著减少了用户所需的修正次数：（i）当训练与测试数据分布偏移较小时，修正次数减少9%至30%；（ii）当针对特定类别进行专精时，减少12%至44%；（iii）当训练与测试阶段完全切换领域（如成像模态发生根本性变化）时，修正次数分别减少了60%和77%。