Ada-Segment : Adaptation Automatisée Multi-perte pour la Segmentations Panoptique

La segmentation panoptique, qui unit la segmentation d'instances et la segmentation sémantique, attire récemment un intérêt croissant. Alors que la plupart des méthodes existantes se concentrent sur la conception d'architectures novatrices, nous adoptons une perspective différente : nous proposons une adaptation automatique en temps réel de plusieurs pertes (nommée Ada-Segment), permettant d'ajuster de manière flexible les différentes pertes d'entraînement au cours du processus d'apprentissage, grâce à un contrôleur entraîné pour capturer les dynamiques d'apprentissage. Cette approche présente plusieurs avantages : elle évite le réglage manuel de la combinaison sensible des pertes, un facteur déterminant pour la segmentation panoptique ; elle permet de modéliser explicitement les dynamiques d'apprentissage, et de concilier l'apprentissage de plusieurs objectifs (jusqu'à dix dans nos expériences) ; enfin, grâce à une architecture end-to-end, elle se généralise à différents jeux de données sans nécessiter de réajuster les hyperparamètres ou de reconfigurer laborieusement le processus d'entraînement. Ada-Segment améliore de 2,7 % la qualité panoptique (PQ) sur le split de validation COCO par rapport à la base linéaire (vanilla baseline), atteignant ainsi l'état de l'art avec un score de 48,5 % PQ sur le split test-dev de COCO et de 32,9 % PQ sur le jeu de données ADE20K. Les études d'ablation étendues mettent en évidence les dynamiques en constante évolution tout au long du processus d'entraînement, soulignant ainsi la nécessité d'intégrer une stratégie d'apprentissage automatique et adaptative, telle que présentée dans ce travail.