Komplementäre Zufallsmaske für RGB-Thermische Semantische Segmentierung

Die RGB-Thermische Semantische Segmentierung ist eine potenzielle Lösung, um eine zuverlässige semantische Szeneinterpretation bei ungünstigen Wetter- und Lichtbedingungen zu erreichen. Die bisherigen Studien konzentrierten sich jedoch hauptsächlich auf das Design eines multimodalen Fusionierungsmoduls, ohne die Natur der multimodalen Eingaben zu berücksichtigen. Daher werden die Netze leicht übermäßig auf eine einzelne Modalität angewiesen, was es schwierig macht, für jede Modalität ergänzende und sinnvolle Repräsentationen zu lernen. In dieser Arbeit schlagen wir 1) eine Strategie des komplementären zufälligen Maskierens von RGB-T-Bildern und 2) einen Selbst-Distillationsverlust zwischen sauberen und maskierten Eingabemodalitäten vor. Die vorgeschlagene Maskierungsstrategie verhindert eine übermäßige Abhängigkeit von einer einzelnen Modalität. Sie verbessert auch die Genauigkeit und Robustheit des neuronalen Netzes, indem sie das Netzwerk dazu zwingt, Objekte zu segmentieren und zu klassifizieren, selbst wenn nur eine Teilmodalität verfügbar ist. Des Weiteren fördert der vorgeschlagene Selbst-Distillationsverlust das Extrahieren ergänzender und sinnvoller Repräsentationen aus einer einzelnen Modalität oder komplementär maskierten Modalitäten. Basierend auf der vorgeschlagenen Methode erzielen wir den aktuellen Stand der Technik in drei Benchmarks für RGB-Thermische Semantische Segmentierung. Unser Quellcode ist unter https://github.com/UkcheolShin/CRM_RGBTSeg verfügbar.