PP-LiteSeg : un modèle supérieur de segmentation sémantique en temps réel

Les applications réelles imposent des exigences élevées aux méthodes de segmentation sémantique. Bien que la segmentation sémantique ait connu des progrès remarquables grâce aux réseaux de neurones profonds, les performances des méthodes en temps réel restent insatisfaisantes. Dans ce travail, nous proposons PP-LiteSeg, un nouveau modèle léger conçu spécifiquement pour la segmentation sémantique en temps réel. Plus précisément, nous introduisons un décodeur flexible et léger (FLD) afin de réduire la charge computationnelle des décodeurs précédents. Pour renforcer les représentations de caractéristiques, nous proposons un module d’agrégation d’attention unifié (UAFM), qui exploite à la fois l’attention spatiale et l’attention sur les canaux afin de générer un poids, puis fusionne les caractéristiques d’entrée avec ce poids. En outre, un module de pooling pyramidal simple (SPPM) est proposé pour agréger le contexte global à faible coût computationnel. Des évaluations étendues montrent que PP-LiteSeg atteint un meilleur compromis entre précision et vitesse par rapport aux autres méthodes. Sur le jeu de test Cityscapes, PP-LiteSeg atteint 72,0 % de mIoU à 273,6 FPS et 77,5 % de mIoU à 102,6 FPS sur une NVIDIA GTX 1080Ti. Le code source et les modèles sont disponibles sur PaddleSeg : https://github.com/PaddlePaddle/PaddleSeg.