SFNet : Une segmentation sémantique plus rapide et précise grâce au flux sémantique

Dans cet article, nous nous concentrons sur l'exploration de méthodes efficaces pour une segmentation sémantique plus rapide et précise. Une pratique courante pour améliorer les performances consiste à obtenir des cartes de caractéristiques à haute résolution avec une forte représentation sémantique. Deux stratégies sont largement utilisées : les convolutions atrous et la fusion pyramidal des caractéristiques, bien que ces deux approches soient soit coûteuses en termes de calcul, soit inefficaces. Inspirés par le flux optique pour l'alignement du mouvement entre les cadres vidéo adjacents, nous proposons un module d'alignement de flux (Flow Alignment Module - FAM) pour apprendre le Flux Sémantique entre les cartes de caractéristiques des niveaux adjacents et diffuser efficacement et efficacement les caractéristiques de haut niveau vers les caractéristiques à haute résolution. De plus, l'intégration de notre FAM dans une structure pyramidal standard des caractéristiques montre des performances supérieures aux autres méthodes en temps réel, même sur des réseaux de base légers tels que ResNet-18 et DFNet.Pour accélérer davantage la procédure d'inférence, nous présentons également un nouveau module d'alignement de flux dual contrôlé par une porte (Gated Dual Flow Alignment Module), qui aligne directement les cartes de caractéristiques à haute résolution et celles à faible résolution. Nous appelons cette version améliorée du réseau SFNet-Lite. Des expériences approfondies ont été menées sur plusieurs jeux de données difficiles, où les résultats démontrent l'efficacité tant de SFNet que de SFNet-Lite. En particulier, lorsqu'on utilise l'ensemble de tests Cityscapes, la série SFNet-Lite atteint un mIoU de 80,1 % tout en fonctionnant à 60 FPS avec le squelette ResNet-18, et un mIoU de 78,8 % tout en fonctionnant à 120 FPS avec le squelette STDC sur une carte graphique RTX-3090.De plus, nous avons uni quatre jeux de données difficiles liés à la conduite en un seul grand jeu de données que nous avons nommé Jeu de Données Unifié pour la Conduite (Unified Driving Segmentation - UDS). Il contient des informations diversifiées en termes de domaine et de style. Nous avons évalué plusieurs travaux représentatifs sur UDS. Tant SFNet que SFNet-Lite atteignent toujours le meilleur compromis vitesse-précision sur UDS, ce qui constitue une ligne directrice solide dans un tel contexte difficile. Le code source et les modèles sont disponibles publiquement sur https://github.com/lxtGH/SFSegNets.