Masquage aléatoire complémentaire pour la segmentation sémantique RGB-thermique

La segmentation sémantique RGB-thermique est une solution potentielle pour atteindre une compréhension sémantique fiable des scènes dans des conditions météorologiques et d'éclairage défavorables. Cependant, les études précédentes se concentrent principalement sur la conception d'un module de fusion multi-modale sans tenir compte de la nature des entrées multi-modales. Par conséquent, les réseaux deviennent facilement trop dépendants d'une seule modalité, ce qui rend difficile l'apprentissage de représentations complémentaires et significatives pour chaque modalité. Cet article propose 1) une stratégie de masquage aléatoire complémentaire des images RGB-T et 2) une perte de distillation auto entre les modalités d'entrée propres et masquées. La stratégie de masquage proposée empêche la dépendance excessive à une seule modalité. Elle améliore également la précision et la robustesse du réseau neuronal en le forçant à segmenter et classer les objets même lorsque l'une des modalités n'est que partiellement disponible. De plus, la perte de distillation auto proposée encourage le réseau à extraire des représentations complémentaires et significatives d'une seule modalité ou de modalités masquées complémentaires. Grâce à cette méthode proposée, nous obtenons des performances de pointe sur trois benchmarks de segmentation sémantique RGB-T. Notre code source est disponible à l'adresse suivante : https://github.com/UkcheolShin/CRM_RGBTSeg.