Synthétiser puis comparer : Détection des échecs et des anomalies pour la segmentation sémantique

La capacité à détecter les défaillances et les anomalies constitue un besoin fondamental pour la construction de systèmes fiables en vision par ordinateur, en particulier dans les applications critiques pour la sécurité telles que la segmentation sémantique utilisée dans les véhicules autonomes ou l’analyse d’images médicales. Dans cet article, nous étudions de manière systématique la détection des défaillances et des anomalies en segmentation sémantique, et proposons un cadre unifié composé de deux modules pour traiter ces deux problèmes connexes. Le premier module est un module de synthèse d’images, qui génère une image synthétisée à partir d’une carte de disposition de segmentation ; le second est un module de comparaison, qui calcule la différence entre l’image synthétisée et l’image d’entrée. Nous validons notre cadre sur trois jeux de données exigeants et améliorons significativement les résultats les plus avancés à ce jour, notamment de 6 % en AUPR-Error sur Cityscapes, de 7 % en corrélation de Pearson sur la segmentation des tumeurs pancréatiques dans le jeu de données MSD, et de 20 % en AUPR sur la segmentation des anomalies dans le jeu de données StreetHazards.