HyperAIHyperAI

Command Palette

Search for a command to run...

Kanal- und Ortsbeziehung-Ausbreitungsnetzwerk für RGB-Thermische Semantische Segmentierung

Xiaojun Chen Junwei Han

Zusammenfassung

Die RGB-Thermische (RGB-T) semantische Segmentierung hat großes Potenzial gezeigt, um schwierige Lichtverhältnisse zu bewältigen, bei denen die RGB-basierte Segmentierung durch eine schlechte RGB-Bildqualität behindert wird. Der Schlüssel zur RGB-T semantischen Segmentierung besteht darin, die Komplementarität von RGB- und Thermobildern effektiv auszunutzen. Die meisten existierenden Algorithmen fügen RGB- und Thermoinformationen im Merkmalsraum durch Verkettung, elementweise Addition oder Aufmerksamkeitsoperationen entweder in einseitiger Verbesserung oder in zweiseitiger Aggregation zusammen. Sie übersehen jedoch oft den Modalitätsunterschied zwischen RGB- und Thermobildern während der Merkmalsfusion, was dazu führt, dass modalitätsspezifische Informationen von einer Modalität die andere verunreinigen. In dieser Arbeit schlagen wir ein Netzwerk zur Kanal- und Ortsbeziehungsausbreitung (Channel and Spatial Relation-Propagation Network, CSRPNet) für die RGB-T semantische Segmentierung vor, das nur modalitätsübergreifende Informationen zwischen verschiedenen Modalitäten verbreitet und das Problem der Verunreinigung durch modalitätsspezifische Informationen mindert. Unser CSRPNet führt zunächst eine Beziehungspropagierung in den Kanal- und Ortsdimensionen durch, um die modalitätsübergreifenden Merkmale aus den RGB- und Thermomerkmalen zu erfassen. Anschließend aggregiert CSRPNet die aus einer Modalität erfassten modalitätsübergreifenden Merkmale mit dem Eingabe-Merkmalsvektor der anderen Modalität, um diesen ohne Verunreinigungsprobleme zu verbessern. Während sie zusammengeführt werden, werden die verbesserten RGB- und Thermomerkmale auch in die nachfolgenden Schichten zur Extraktion von RGB- oder Thermomerkmalen eingespeist, jeweils für interaktive Merkmalsfusion. Wir stellen außerdem ein Modul für zweipfadige kaskadierte Merkmalsverfeinerung vor, das mehrschichtige Merkmale aggregiert, um zwei verfeinerte Merkmale für die semantische Vorhersage und Randvorhersage zu erzeugen. Ausführliche experimentelle Ergebnisse zeigen, dass CSRPNet sich vorteilhaft gegenüber den neuesten Algorithmen verhält.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Kanal- und Ortsbeziehung-Ausbreitungsnetzwerk für RGB-Thermische Semantische Segmentierung | Paper | HyperAI