Segmentation sémantique pilotée par la polarisation par fusion efficace pontée par l'attention

La segmentation sémantique (SS) se révèle prometteuse pour la perception des scènes extérieures dans des applications critiques pour la sécurité telles que les véhicules autonomes ou la navigation assistée. Toutefois, la SS traditionnelle repose principalement sur des images RGB, ce qui limite sa fiabilité dans des scènes extérieures complexes, où les images RGB manquent de dimensions d'information nécessaires pour une perception complète des environnements non contraints. Dans une première investigation, nous étudions la SS dans un scénario inattendu de détection d'obstacles, ce qui met en évidence la nécessité d'une fusion multimodale. À cet effet, dans ce travail, nous proposons EAFNet, un réseau de fusion efficace basé sur des ponts d'attention, afin d'exploiter les informations complémentaires provenant de capteurs optiques différents. Plus précisément, nous intégrons la détection polarimétrique pour obtenir des informations supplémentaires, en tenant compte de ses caractéristiques optiques permettant une représentation robuste de matériaux variés. En utilisant un unique capteur polarimétrique à prise de vue unique, nous construisons le premier jeu de données RGB-P, composé de 394 images annotées et alignées pixel par pixel en RGB et polarisation. Des expériences approfondies démontrent l’efficacité d’EAFNet pour fusionner les informations polarimétriques et RGB, ainsi que sa flexibilité pour être adaptée à d’autres scénarios de combinaison de capteurs.