Réseau de fusion de prédictions pour la segmentation panoptique

La segmentation panoptique vise à produire des prédictions pixel-par-pixel en termes de classe et d’instance pour chaque pixel de l’image d’entrée, une tâche particulièrement exigeante et bien plus complexe que la fusion naïve des résultats de segmentation sémantique et instance. La fusion des prédictions est donc essentielle pour atteindre une segmentation panoptique précise. Dans cet article, nous proposons REFINE, un réseau de fusion de prédictions (pREdiction FusIon NEtwork) conçu pour la segmentation panoptique, afin d’améliorer à la fois la fusion inter-tâches et la fusion intra-tâche des prédictions. Notre modèle unique basé sur ResNeXt-101 avec DCN atteint un score PQ de 51,5 sur le jeu de données COCO, surpassant de manière convaincante les performances les plus avancées à ce jour et se rapprochant des modèles ensemblistes. De plus, notre modèle plus léger, basé sur un squelette ResNet-50, atteint un PQ de 44,9, comparables aux méthodes les plus performantes utilisant des squelettes plus volumineux.