PatchRefineNet : Amélioration de la segmentation binaire par l'intégration de signaux issus de la binarisation optimale par patchs

L'objectif des modèles de segmentation binaire est de déterminer quels pixels appartiennent à un objet d'intérêt (par exemple, quels pixels dans une image font partie des routes). Ces modèles attribuent une note logit (c'est-à-dire une probabilité) à chaque pixel, et ces notes sont converties en prédictions par seuillage (c'est-à-dire que chaque pixel avec une note logit $\geq τ$ est prédit comme faisant partie d'une route). Cependant, un phénomène courant dans les modèles de segmentation actuels et antérieurs de pointe est le biais spatial -- dans certaines zones, les notes logit sont systématiquement biaisées vers le haut et dans d'autres elles sont systématiquement biaisées vers le bas. Ces biais entraînent des faux positifs et des faux négatifs dans les prédictions finales. Dans cet article, nous proposons PatchRefineNet (PRN), un petit réseau qui s'ajoute au-dessus d'un modèle de segmentation de base et apprend à corriger ses biais spécifiques aux patches. Sur une large gamme de modèles de base, PRN améliore constamment leur mIoU (mean Intersection over Union) de 2 à 3 %. L'une des idées clés derrière PRN est l'ajout d'un nouveau signal de supervision lors de l'entraînement. À partir des notes logit produites par le modèle de segmentation de base, chaque pixel reçoit une pseudo-étiquette obtenue par seuillage optimal des notes logit dans chaque patch d'image. L'intégration de ces pseudo-étiquettes dans la fonction de perte de PRN aide à corriger les biais systématiques et à réduire les faux positifs/négatifs. Bien que nous nous concentrions principalement sur la segmentation binaire, nous montrons également comment PRN peut être étendu à la détection de saillance et à la segmentation en quelques exemples. Nous discutons également de la façon dont ces idées peuvent être généralisées à la segmentation multiclasses.