Segmentation de verre avec des paires d'images RGB-thermiques

Ce travail propose une nouvelle méthode de segmentation du verre en utilisant des images RGB et thermiques appariées. En raison de la grande différence entre les propriétés de transmission de la lumière visible et de l'énergie thermique à travers le verre, où la plupart des types de verre sont transparents à la lumière visible mais opaques à l'énergie thermique, les régions vitrées d'une scène deviennent plus distinguables avec un couple d'images RGB et thermiques qu'avec une seule image RGB. Pour exploiter cette propriété unique, nous proposons une architecture de réseau neuronal qui combine efficacement un couple d'images RGB-thermiques grâce à un nouveau module de fusion multi-modale basé sur l'attention, et intègre les CNN (Convolutional Neural Networks) et les transformateurs pour extraire respectivement des caractéristiques locales et des dépendances non-locales. De plus, nous avons collecté un nouveau jeu de données contenant 5551 paires d'images RGB-thermiques avec des annotations de segmentation au sol vérité (ground-truth). Les évaluations qualitatives et quantitatives démontrent l'efficacité de notre approche proposée pour la fusion des données RGB et thermiques dans le cadre de la segmentation du verre. Notre code source et nos données sont disponibles sur https://github.com/Dong-Huo/RGB-T-Glass-Segmentation.