RbA : Segmenter les régions inconnues rejetées par toutes

Les modèles standards de segmentation sémantique doivent leur succès à des jeux de données soigneusement construits, comprenant un ensemble fixe de catégories sémantiques, sans envisager la possibilité d’identifier des objets inconnus appartenant à de nouvelles catégories. Les méthodes existantes en détection d’outliers souffrent d’un manque de régularité et de qualité d’objectivité dans leurs prédictions, en raison des limitations inhérentes au paradigme de classification par pixel. De plus, l’entraînement supplémentaire destiné à la détection d’outliers nuit aux performances des classes connues. Dans cet article, nous explorons un autre paradigme fondé sur la classification par régions, afin d’améliorer la segmentation des objets inconnus. Nous montrons que les requêtes d’objets dans la classification de masques ont tendance à se comporter comme des classifieurs un contre tous. À partir de cette observation, nous proposons une nouvelle fonction de score d’outlier, appelée RbA, en définissant l’événement d’être un outlier comme le rejet par toutes les classes connues. Nos expériences étendues démontrent que la classification de masques améliore les performances des méthodes existantes de détection d’outliers, et que les meilleurs résultats sont obtenus avec la méthode RbA proposée. Nous introduisons également une fonction objective permettant d’optimiser RbA avec une supervision minimale sur les outliers. Un fin-tuning supplémentaire incluant des outliers améliore significativement la performance sur les objets inconnus, sans dégrader, contrairement aux méthodes antérieures, les performances sur les objets internes (inliers).