FEANet : Réseau d'attention à amélioration de caractéristiques pour la segmentation sémantique en temps réel RGB-Thermal

L'information RGB-Thermique (RGB-T) pour la segmentation sémantique a fait l'objet d'une exploration intensive ces dernières années. Toutefois, la plupart des méthodes existantes de segmentation sémantique RGB-T compromettent généralement la résolution spatiale afin d'obtenir une vitesse d'inférence en temps réel, ce qui entraîne une performance médiocre. Afin d'extraire de manière plus efficace les informations spatiales détaillées, nous proposons un réseau à deux étapes, le Feature-Enhanced Attention Network (FEANet), dédié à la tâche de segmentation sémantique RGB-T. Plus précisément, nous introduisons un module d'attention à amélioration de caractéristiques (FEAM) afin d'exploiter et d'améliorer les caractéristiques multi-niveaux à la fois sous les angles canal et spatial. Grâce au module FEAM proposé, notre FEANet parvient à préserver les informations spatiales et à concentrer davantage l'attention sur les caractéristiques à haute résolution issues des images RGB-T fusionnées. Des expériences étendues sur un jeu de données scènes urbaines montrent que notre FEANet surpasser d'autres méthodes d'état de l'art (SOTA) en matière de métriques objectives ainsi que de comparaison visuelle subjective (respectivement +2,6 % en mAcc globale et +0,8 % en mIoU globale). Pour des images RGB-T de taille 480 × 640, notre FEANet fonctionne en temps réel sur une carte NVIDIA GeForce RTX 2080 Ti.