EDAPS : Segmentation panoptique adaptative au domaine améliorée

À l’ère du développement croissant des industries autonomes, l’adaptation de domaine dans la chaîne de perception visuelle représente une direction de recherche cruciale, en raison des économies de coûts promises. De nombreuses études antérieures se sont concentrées sur l’adaptation de domaine pour la segmentation sémantique dans le contexte synthétique-vers-réel. Bien que la segmentation panoptique constitue une sortie essentielle de la chaîne de perception, elle a été largement ignorée par la communauté de l’adaptation de domaine. Nous revisitons donc des stratégies d’adaptation de domaine performantes issues d’autres domaines, les adaptons à la segmentation panoptique, et démontrons qu’elles peuvent efficacement améliorer l’adaptation de domaine pour cette tâche. Par ailleurs, nous étudions la conception des réseaux panoptiques et proposons une nouvelle architecture (EDAPS), spécifiquement conçue pour la segmentation panoptique adaptative de domaine. Cette architecture utilise un encodeur transformer partagé et robuste face aux domaines afin de faciliter l’adaptation conjointe des caractéristiques sémantiques et des caractéristiques d’instance, combiné à des décodeurs spécifiques à la tâche, ajustés aux exigences propres à la segmentation sémantique adaptative de domaine et à la segmentation d’instance. En conséquence, l’écart de performance observé sur des benchmarks panoptiques exigeants est considérablement réduit. EDAPS améliore de manière significative les performances de l’état de l’art pour la segmentation panoptique en adaptation de domaine non supervisée (UDA), avec une augmentation de 20 % sur le transfert SYNTHIA-to-Cityscapes, et même de 72 % sur le défi plus difficile SYNTHIA-to-Mapillary Vistas. Le code source est disponible à l’adresse suivante : https://github.com/susaha/edaps.