Optimisation combinatoire pour la segmentation panoptique : une approche entièrement différentiable

Nous proposons une architecture entièrement différentiable pour la segmentation panoramique, c’est-à-dire la segmentation sémantique et instance simultanées, composée d’un réseau de neurones convolutif et d’un solveur de problème de coupe asymétrique multi-voies. Ce dernier résout un problème d’optimisation combinatoire qui intègre élégamment les prédictions sémantiques et les contours pour produire une étiquetage panoramique. Notre formulation permet de maximiser directement un substitut lisse du métrique de qualité panoramique en propageant le gradient à travers le problème d’optimisation. L’évaluation expérimentale montre une amélioration significative par rapport à des approches comparables sur les jeux de données Cityscapes et COCO, grâce à la rétropropagation du gradient à travers le problème d’optimisation. Globalement, notre méthode démontre l'utilité de combiner l'optimisation combinatoire et l'apprentissage profond dans un problème réel à grande échelle et difficile, tout en offrant des avantages et des insights précieux sur l'entraînement d'une telle architecture.