Régularisation par vue croisée pour la segmentation panoptique adaptative de domaine

La segmentation panoptique unifie la segmentation sémantique et la segmentation d'instances, un domaine qui attire depuis plusieurs années une attention croissante. Toutefois, la plupart des recherches existantes ont été menées dans un cadre d'apprentissage supervisé, tandis que la segmentation panoptique adaptative par domaine non supervisée — essentielle pour diverses tâches et applications — reste largement négligée. Nous proposons un réseau de segmentation panoptique adaptatif par domaine, exploitant à la fois la cohérence inter-style et une régularisation inter-tâches afin d’optimiser la segmentation panoptique adaptative par domaine. La cohérence inter-style exploite l'invariance géométrique entre différentes versions stylistiques d'une même image, générant ainsi des signaux de self-supervision qui guident le réseau vers l’apprentissage de caractéristiques invariantes par rapport au domaine. La régularisation inter-tâches tire parti de la complémentarité entre la segmentation d'instances et la segmentation sémantique, en les utilisant comme contrainte pour améliorer l’alignement des caractéristiques entre domaines. Des expériences étendues sur plusieurs tâches de segmentation panoptique adaptative par domaine (par exemple, synthétique-vers-réel et réel-vers-réel) démontrent que le réseau proposé atteint des performances de segmentation supérieures à celles des méthodes de pointe.