Apprentissage du motif résiduel pour la détection d'out-of-distribution pixel-par-pixel dans la segmentation sémantique

Les modèles de segmentation sémantique classifient les pixels parmi un ensemble de classes visuelles connues (« in-distribution »). Lorsqu’ils sont déployés dans un environnement ouvert, la fiabilité de ces modèles dépend non seulement de leur capacité à classifier les pixels in-distribution, mais aussi de leur aptitude à détecter les pixels out-of-distribution (OoD). Historiquement, la faible performance de détection OoD de ces modèles a motivé le développement de méthodes basées sur une re-formation du modèle à l’aide d’images synthétiques contenant des objets visuels OoD. Bien que ces approches aient connu un certain succès, elles souffrent de deux limites majeures : (1) la précision de segmentation in-distribution peut diminuer lors de la re-formation ; (2) la précision de détection OoD ne se généralise pas efficacement à de nouveaux contextes (par exemple, paysages ruraux) en dehors de ceux présents dans les données d’entraînement (par exemple, paysages urbains). Dans cet article, nous atténuons ces problèmes grâce à : (i) un nouveau module d’apprentissage de motifs résiduels (RPL) qui aide le modèle de segmentation à détecter les pixels OoD sans compromettre la performance de segmentation des données inliers ; et (ii) un nouvel apprentissage contrastif robuste au contexte (CoroCL), qui impose au module RPL de détecter de manière fiable les pixels OoD dans divers contextes. Notre approche améliore d’environ 10 % le taux de faux positifs (FPR) et de 7 % l’AuPRC par rapport à l’état de l’art précédent sur les jeux de données Fishyscapes, Segment-Me-If-You-Can et RoadAnomaly. Le code source est disponible à l’adresse suivante : https://github.com/yyliu01/RPL.