UniDAformer : Transformer pour la segmentation panoptique adaptative de domaine unifiée par calibration hiérarchique des masques

La segmentation panoptique adaptative au domaine vise à atténuer le défi de l’annotation des données en exploitant des données annotées prêtes à l’emploi provenant d’un ou plusieurs domaines sources liés. Toutefois, les études existantes utilisent deux réseaux distincts pour la segmentation d’instances et la segmentation sémantique, ce qui entraîne un nombre excessif de paramètres réseau ainsi qu’un processus d’entraînement et d’inférence complexe et coûteux en ressources computationnelles. Nous proposons UniDAformer, un transformateur de segmentation panoptique adaptative au domaine unifié, simple mais capable d’effectuer simultanément la segmentation d’instances et la segmentation sémantique adaptatives au domaine au sein d’un seul réseau. UniDAformer introduit une méthode de calibration hiérarchique des masques (HMC), qui corrige les prédictions erronées au niveau des régions, des superpixels et des pixels grâce à un apprentissage auto-supervisé en temps réel. Il présente trois caractéristiques distinctives : 1) il permet une adaptation panoptique unifiée au domaine ; 2) il réduit efficacement les faux positifs et améliore la qualité de la segmentation panoptique adaptative au domaine ; 3) il est entièrement entraînable en bout à bout, avec une chaîne d’entraînement et d’inférence nettement simplifiée. Des expériences étendues sur plusieurs benchmarks publics montrent que UniDAformer atteint des performances supérieures en segmentation panoptique adaptative au domaine par rapport aux méthodes de pointe actuelles.