Segmentation d'objets connus et d'inconnus non vus sans connaissance préalable

Les méthodes de segmentation panoptique attribuent une catégorie connue à chaque pixel fourni en entrée. Même pour les approches les plus avancées, cela impose inévitablement des décisions qui conduisent systématiquement à des prédictions erronées pour les objets situés en dehors des catégories d'apprentissage. Pourtant, une robustesse face aux échantillons hors distribution et aux cas limites est cruciale dans les environnements critiques pour la sécurité, afin d'éviter des conséquences dangereuses. Étant donné que les jeux de données du monde réel ne peuvent pas contenir suffisamment de points de données pour échantillonner adéquatement la queue longue de la distribution sous-jacente, les modèles doivent être capables de gérer aussi bien les scénarios inconnus que non vus. Les méthodes précédentes ont tenté de résoudre ce problème en réidentifiant des objets non étiquetés déjà observés. Dans ce travail, nous proposons l'étape nécessaire pour étendre la segmentation dans un nouveau cadre que nous appelons segmentation holistique. La segmentation holistique vise à identifier et à séparer les objets appartenant à des catégories inconnues et non vues en instances, sans aucune connaissance préalable à leur sujet, tout en réalisant une segmentation panoptique des classes connues. Nous abordons ce nouveau problème grâce à U3HS, qui détecte les objets inconnus comme des régions à haute incertitude et regroupe leurs embeddings aware d'instance en objets distincts. Ainsi, pour la première fois dans le cadre de la segmentation panoptique incluant des objets inconnus, notre méthode U3HS est entraînée sans aucune catégorie inconnue, réduisant ainsi les hypothèses et laissant les conditions aussi peu contraintes que dans les scénarios réels. Des expériences étendues sur des données publiques issues de MS COCO, Cityscapes et Lost&Found démontrent l'efficacité d’U3HS dans ce nouveau cadre exigeant et exempt d'hypothèses, appelé segmentation holistique. Page du projet : https://holisticseg.github.io.