HyperAIHyperAI

Command Palette

Search for a command to run...

Residuelles Räumliches Fusionsnetzwerk für RGB-Thermische Semantische Segmentierung

Ping Li Junjie Chen Binbin Lin Xianghua Xu

Zusammenfassung

Semantische Segmentierung spielt eine wichtige Rolle in weit verbreiteten Anwendungen wie autonomem Fahren und Robotersensoren. Traditionelle Methoden verwenden hauptsächlich RGB-Bilder, die stark von Beleuchtungsbedingungen, z.B. Dunkelheit, beeinflusst werden. Neuere Studien zeigen, dass thermografische Bilder in Nachtszenarien robust sind und als kompensierendes Modul für die Segmentierung dienen können. Bestehende Arbeiten fügen jedoch entweder einfach RGB-Thermografische (RGB-T) Bilder zusammen oder verwenden den gleichen Encoder-Struktur für beide Ströme, was die Modalitätsunterschiede bei variablen Beleuchtungsbedingungen bei der Segmentierung vernachlässigt. Daher schlägt diese Arbeit ein Residual Spatial Fusion Network (RSFNet) für RGB-T semantische Segmentierung vor. Insbesondere verwenden wir einen asymmetrischen Encoder, um die kompensierenden Merkmale von RGB- und thermografischen Bildern zu lernen. Um die dualen Modalitätsmerkmale effektiv zu fusionieren, generieren wir Pseudo-Labels durch Salienzdetektion, um das Merkmalslernen zu überwachen, und entwickeln ein Residual Spatial Fusion (RSF)-Modul mit struktureller Re-Parametrisierung, um durch räumliche Fusion der cross-modalen Merkmale vielversprechendere Merkmale zu lernen. Das RSF verwendet eine hierarchische Merkmalsfusion zur Aggregation von mehrstufigen Merkmalen und wendet räumliche Gewichte mit einem Residualverbindung an, um durch das Konfidenztor die multispektrale Merkmalsfusion anpassungsfähig zu steuern. Ausführliche Experimente wurden auf zwei Benchmarks durchgeführt, nämlich der MFNet-Datenbank und der PST900-Datenbank. Die Ergebnisse haben gezeigt, dass unsere Methode den Stand der Technik in der Segmentationsleistung erreicht und dabei eine gute Balance zwischen Genauigkeit und Geschwindigkeit erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Residuelles Räumliches Fusionsnetzwerk für RGB-Thermische Semantische Segmentierung | Paper | HyperAI