L2G : Un cadre simple de transfert de connaissance local-versus-global pour la segmentation sémantique sous supervision faible

L’extraction de cartes d’attention précises et spécifiques aux classes, également appelées cartes d’activation de classe, est essentielle pour la segmentation sémantique faiblement supervisée. Dans cet article, nous proposons L2G, un cadre simple de transfert de connaissances en ligne de local à global, destiné à extraire des cartes d’attention de haute qualité pour les objets. Nous observons que les modèles de classification peuvent identifier des régions d’objets avec davantage de détails lorsqu’on remplace l’image d’entrée par ses patches locaux. En tenant compte de cette observation, nous utilisons tout d’abord un réseau de classification local pour extraire des cartes d’attention à partir de plusieurs patches locaux aléatoirement coupés de l’image d’entrée. Ensuite, nous exploitons un réseau global afin d’apprendre en ligne des connaissances complémentaires d’attention à partir de plusieurs cartes d’attention locales. Notre cadre permet au réseau global d’acquérir une vue d’ensemble des détails riches des objets capturés, produisant ainsi des cartes d’attention de haute qualité pouvant être directement utilisées comme annotations pseudo-étiquetées pour les réseaux de segmentation sémantique. Les expérimentations montrent que notre méthode atteint des scores de mIoU respectifs de 72,1 % et 44,2 % sur l’ensemble de validation de PASCAL VOC 2012 et de MS COCO 2014, établissant de nouveaux records d’état de l’art. Le code est disponible à l’adresse suivante : https://github.com/PengtaoJiang/L2G.