Kanal- und Ortsbeziehung-Ausbreitungsnetzwerk für RGB-Thermische Semantische Segmentierung

Die RGB-Thermische (RGB-T) semantische Segmentierung hat großes Potenzial gezeigt, um schwierige Lichtverhältnisse zu bewältigen, bei denen die RGB-basierte Segmentierung durch eine schlechte RGB-Bildqualität behindert wird. Der Schlüssel zur RGB-T semantischen Segmentierung besteht darin, die Komplementarität von RGB- und Thermobildern effektiv auszunutzen. Die meisten existierenden Algorithmen fügen RGB- und Thermoinformationen im Merkmalsraum durch Verkettung, elementweise Addition oder Aufmerksamkeitsoperationen entweder in einseitiger Verbesserung oder in zweiseitiger Aggregation zusammen. Sie übersehen jedoch oft den Modalitätsunterschied zwischen RGB- und Thermobildern während der Merkmalsfusion, was dazu führt, dass modalitätsspezifische Informationen von einer Modalität die andere verunreinigen. In dieser Arbeit schlagen wir ein Netzwerk zur Kanal- und Ortsbeziehungsausbreitung (Channel and Spatial Relation-Propagation Network, CSRPNet) für die RGB-T semantische Segmentierung vor, das nur modalitätsübergreifende Informationen zwischen verschiedenen Modalitäten verbreitet und das Problem der Verunreinigung durch modalitätsspezifische Informationen mindert. Unser CSRPNet führt zunächst eine Beziehungspropagierung in den Kanal- und Ortsdimensionen durch, um die modalitätsübergreifenden Merkmale aus den RGB- und Thermomerkmalen zu erfassen. Anschließend aggregiert CSRPNet die aus einer Modalität erfassten modalitätsübergreifenden Merkmale mit dem Eingabe-Merkmalsvektor der anderen Modalität, um diesen ohne Verunreinigungsprobleme zu verbessern. Während sie zusammengeführt werden, werden die verbesserten RGB- und Thermomerkmale auch in die nachfolgenden Schichten zur Extraktion von RGB- oder Thermomerkmalen eingespeist, jeweils für interaktive Merkmalsfusion. Wir stellen außerdem ein Modul für zweipfadige kaskadierte Merkmalsverfeinerung vor, das mehrschichtige Merkmale aggregiert, um zwei verfeinerte Merkmale für die semantische Vorhersage und Randvorhersage zu erzeugen. Ausführliche experimentelle Ergebnisse zeigen, dass CSRPNet sich vorteilhaft gegenüber den neuesten Algorithmen verhält.