MC-PanDA : Confiance Masque pour l’Adaptation de Domaine Panoptique

La segmentation panoptique adaptative au domaine promet de résoudre le problème des cas particuliers rares dans la compréhension des scènes naturelles. Les méthodes de pointe précédentes abordent ce défi grâce à une cohérence entre tâches, une optimisation soigneuse au niveau du système et des améliorations heuristiques des prédictions du modèle enseignant. En revanche, nous proposons de tirer parti de la capacité remarquable des transformateurs de masques à estimer leur propre incertitude de prédiction. Notre méthode évite l’amplification du bruit en exploitant la confiance fine-grainée des prédictions panoptiques du modèle enseignant. Plus précisément, nous modulons la fonction de perte en fonction de la confiance globale du masque, tout en interdisant la rétropropagation dans les pixels pour lesquels le modèle enseignant est incertain ou le modèle étudiant très confiant. Une évaluation expérimentale sur des benchmarks standards révèle une contribution significative des techniques de sélection proposées. Nous rapportons un score PQ de 47,4 sur le transfert de Synthia vers Cityscapes, soit une amélioration de 6,2 points de pourcentage par rapport à l’état de l’art. Le code source est disponible à l’adresse suivante : https://github.com/helen1c/MC-PanDA.