Le consensus synergie avec la mémoire : une approche simple pour la segmentation des anomalies dans les scènes urbaines

La segmentation des anomalies constitue une tâche cruciale pour les applications à enjeux de sécurité, telles que la conduite autonome dans des scènes urbaines, dont l'objectif est de détecter des objets hors distribution (OOD) appartenant à des catégories inconnues pendant l'apprentissage. Le défi central de cette tâche réside dans la capacité à distinguer les échantillons difficiles appartenant à la distribution d'apprentissage (in-distribution) des échantillons OOD, un problème qui n'a pas encore été explicitement abordé. Dans cet article, nous proposons une nouvelle approche simple et efficace, nommée Consensus Synergizes with Memory (CosMe), inspirée d'un résultat en psychologie selon lequel les groupes surpassent les individus dans les tâches de mémoire. L'idée principale repose sur deux composantes : 1) la construction d'une banque de mémoire contenant des prototypes observés extraits de plusieurs couches d'un modèle de segmentation pré-entraîné ; et 2) l'entraînement d'un modèle auxiliaire qui imite le comportement du modèle pré-entraîné, puis la mesure du consensus entre leurs caractéristiques de niveau intermédiaire, utilisées comme indices complémentaires synergiques avec la banque de mémoire. CosMe se distingue particulièrement dans la discrimination entre exemples in-distribution difficiles et échantillons OOD. Les résultats expérimentaux sur plusieurs jeux de données de segmentation des anomalies dans des scènes urbaines montrent que CosMe surpasse largement les approches antérieures.