17 天前
共识与记忆协同:一种用于城市场景异常分割的简单方法
Jiazhong Cen, Zenkun Jiang, Lingxi Xie, Qi Tian, Xiaokang Yang, Wei Shen

摘要
异常分割是自动驾驶等安全关键应用中的关键任务,其目标是在训练过程中未见过的类别(即分布外,Out-of-Distribution, OOD)物体进行检测。该任务的核心挑战在于如何区分难以处理的分布内(in-distribution)样本与分布外样本,而这一问题尚未得到充分探讨。本文提出一种新颖且简洁的方法——共识协同记忆(Consensus Synergizes with Memory, CosMe),受心理学研究启发:群体在记忆任务中的表现优于个体。该方法的核心思想包括:1)构建一个记忆库,其中包含从预训练分割模型多个层级提取的已见类别原型;2)训练一个辅助模型以模仿预训练模型的行为,并通过测量两者中间层特征的一致性,作为与记忆库协同互补的判别线索。实验结果表明,CosMe在多个城市场景异常分割数据集上显著优于现有方法,展现出优异的区分硬样本分布内与分布外样本的能力。