Segmentation de verre à l’aide de signaux d’intensité et de polarisation spectrale

Les matériaux transparents et semi-transparents posent des défis importants aux algorithmes existants d’analyse et de segmentation de scènes en raison de l’absence de texture RGB, ce qui entrave l’extraction de caractéristiques significatives. Dans ce travail, nous exploitons le fait que les interactions lumière-matière sur les matériaux verriers fournissent des indices uniques de luminosité et de polarisation pour chaque longueur d’onde lumineuse observée. Nous proposons un nouveau réseau de segmentation du verre basé sur l’apprentissage, qui exploite à la fois les intensités trichromatiques (RGB) et les indices de polarisation linéaire trichromatiques extraits à partir d’une seule photographie, sans faire aucune hypothèse sur l’état de polarisation de l’éclairage. Notre architecture de réseau novatrice fusionne et pondère dynamiquement les indices trichromatiques de couleur et de polarisation à l’aide d’un module original de guidance globale et d’attention auto-échelle multi-échelle, tout en exploitant des informations contextuelles globales issues de domaines différents afin d’assurer une segmentation robuste. Nous entraînons et validons de manière extensive notre méthode sur un nouveau jeu de données à grande échelle RGB-Polarisation (RGBP-Glass), et démontrons que notre approche surpasse de manière significative les méthodes de segmentation les plus avancées à l’état de l’art.