SpiderMesh : Maillage récursif guidé par la demande et sensible à l'espace pour la segmentation sémantique RGB-T

Pour la segmentation sémantique dans la compréhension des scènes urbaines, les caméras RGB seules échouent souvent à capturer une topologie globale claire dans des conditions d'éclairage difficiles. Le signal thermique est un canal informatif supplémentaire qui peut mettre en lumière le contour et la texture fine-grainée des régions floues dans les images RGB de faible qualité. Dans le but d'une segmentation RGB-T (thermique) pratique, nous proposons systématiquement un cadre Spatial-aware Demand-guided Recursive Meshing (SpiderMesh) qui : 1) compense activement les sémantiques contextuelles insuffisantes dans les régions optiquement dégradées grâce à un algorithme de masquage ciblé guidé par la demande ; 2) affine les caractéristiques sémantiques multimodales par le maillage récursif pour améliorer les performances d'analyse sémantique au niveau pixel. Nous introduisons également une technique d'augmentation de données asymétrique appelée M-CutOut, et permettons l'apprentissage semi-supervisé afin d'utiliser pleinement les étiquettes RGB-T disponibles de manière éparses dans l'utilisation pratique. Des expériences approfondies sur les jeux de données MFNet et PST900 montrent que SpiderMesh atteint des performances de pointe sur les benchmarks standard de segmentation RGB-T.