HyperAIHyperAI

Command Palette

Search for a command to run...

Komplementäre Zufallsmaske für RGB-Thermische Semantische Segmentierung

Ukcheol Shin; Kyunghyun Lee; In So Kweon; Jean Oh

Zusammenfassung

Die RGB-Thermische Semantische Segmentierung ist eine potenzielle Lösung, um eine zuverlässige semantische Szeneinterpretation bei ungünstigen Wetter- und Lichtbedingungen zu erreichen. Die bisherigen Studien konzentrierten sich jedoch hauptsächlich auf das Design eines multimodalen Fusionierungsmoduls, ohne die Natur der multimodalen Eingaben zu berücksichtigen. Daher werden die Netze leicht übermäßig auf eine einzelne Modalität angewiesen, was es schwierig macht, für jede Modalität ergänzende und sinnvolle Repräsentationen zu lernen. In dieser Arbeit schlagen wir 1) eine Strategie des komplementären zufälligen Maskierens von RGB-T-Bildern und 2) einen Selbst-Distillationsverlust zwischen sauberen und maskierten Eingabemodalitäten vor. Die vorgeschlagene Maskierungsstrategie verhindert eine übermäßige Abhängigkeit von einer einzelnen Modalität. Sie verbessert auch die Genauigkeit und Robustheit des neuronalen Netzes, indem sie das Netzwerk dazu zwingt, Objekte zu segmentieren und zu klassifizieren, selbst wenn nur eine Teilmodalität verfügbar ist. Des Weiteren fördert der vorgeschlagene Selbst-Distillationsverlust das Extrahieren ergänzender und sinnvoller Repräsentationen aus einer einzelnen Modalität oder komplementär maskierten Modalitäten. Basierend auf der vorgeschlagenen Methode erzielen wir den aktuellen Stand der Technik in drei Benchmarks für RGB-Thermische Semantische Segmentierung. Unser Quellcode ist unter https://github.com/UkcheolShin/CRM_RGBTSeg verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp