Détection de différences auto-supervisée pour la segmentation sémantique faiblement supervisée

Afin de minimiser les coûts d’annotation liés à l’entraînement des modèles de segmentation sémantique, les chercheurs ont largement exploré les approches de segmentation faiblement supervisée. Parmi les méthodes actuelles de segmentation faiblement supervisée, l’approche la plus couramment adoptée repose sur la visualisation. Toutefois, les résultats de visualisation ne sont pas généralement équivalents à une segmentation sémantique précise. Ainsi, pour réaliser une segmentation sémantique fiable dans un cadre faiblement supervisé, il est nécessaire de considérer des fonctions de transformation permettant de convertir les résultats de visualisation en segmentation sémantique. Pour ces fonctions de transformation, on utilise généralement le champ aléatoire conditionnel ou une re-entraînement itératif basé sur les sorties d’un modèle de segmentation. Toutefois, ces méthodes ne garantissent pas toujours une amélioration de la précision ; par conséquent, si l’on applique ces fonctions de transformation de manière itérative, l’exactitude finit par ne plus s’améliorer ou même à diminuer.Dans ce travail, afin d’exploiter pleinement ces fonctions de transformation, nous supposons que leurs résultats contiennent du bruit, et nous améliorons la précision en éliminant ce bruit. Pour atteindre cet objectif, nous proposons un module de détection de différences auto-supervisé, qui estime le bruit à partir des résultats des fonctions de transformation en prédisant la différence entre les masques de segmentation avant et après la transformation. Nous avons vérifié l’efficacité de la méthode proposée à l’aide d’expériences menées sur le jeu de données PASCAL Visual Object Classes 2012, obtenant respectivement 64,9 % sur l’ensemble de validation et 65,5 % sur l’ensemble de test. Ces deux résultats établissent de nouveaux états de l’art dans le cadre de la segmentation sémantique faiblement supervisée, sous les mêmes conditions expérimentales.