HyperAIHyperAI

Command Palette

Search for a command to run...

CACFNet: Cross-Modal Attention Cascaded Fusion Network für die RGB-T-urbanen Szenenanalyse

Lu Yu Meixin Fang Shaohua Dong WuJie Zhou

Zusammenfassung

Die Farb–Thermografie-(RGB-T-)Szenenanalyse städtischer Umgebungen hat in letzter Zeit erhebliches Interesse hervorgerufen. Allerdings untersuchen die meisten bestehenden Ansätze zur RGB-T-Szenenanalyse die Informationskomplementarität zwischen RGB-T-Features nicht ausreichend tief. In dieser Studie stellen wir ein cross-modales Aufmerksamkeits-kaskadiertes Fusionssnetzwerk (CACFNet) vor, das die cross-modale Information vollständig ausnutzt. In unserem Entwurf enthält ein cross-modales Aufmerksamkeits-Fusionsmodul die Extraktion komplementärer Informationen aus beiden Modalitäten. Anschließend decodiert ein kaskadiertes Fusionsmodul die mehrstufigen Features auf eine aufwärts-abwärts-orientierte Weise. Da jedes Pixel der Kategorie der Region zugeordnet wird, zu der es gehört, präsentieren wir ein regionenbasiertes Modul, das die Beziehung zwischen Pixel und Region untersucht. Darüber hinaus schlagen wir im Gegensatz zu früheren Methoden, die lediglich die Kreuzentropieverlustfunktion zur Strafe der pixelweisen Vorhersagen verwenden, einen zusätzlichen Verlust vor, um die Beziehungen zwischen Pixeln zu lernen. Umfangreiche Experimente auf zwei Datensätzen zeigen, dass das vorgeschlagene CACFNet eine state-of-the-art-Leistung bei der RGB-T-Szenenanalyse städtischer Umgebungen erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp