HyperAIHyperAI

Command Palette

Search for a command to run...

Explizite Aufmerksamkeitsverstärkte Fusion für RGB-Thermale Wahrnehmungsaufgaben

Mingjian Liang* Junjie Hu* Chenyu Bao Hua Feng Fuqin Deng Tin Lun Lam†

Zusammenfassung

Kürzlich haben RGB-Thermobasierte Wahrnehmungssysteme erhebliche Fortschritte gemacht. Thermische Informationen bieten nützliche Hinweise, wenn visuelle Kameras unter schlechten Beleuchtungsbedingungen, wie z.B. niedrigem Licht oder Nebel, leiden. Dennoch bleibt die effektive Fusion von RGB-Bildern und thermischen Daten eine offene Herausforderung. Frühere Arbeiten beinhalteten einfache Fusionsstrategien, wie das Zusammenführen der Daten am Eingang, das Verketten multimodaler Merkmale innerhalb von Modellen oder das Anwenden von Aufmerksamkeit auf jede Datensorte. Diese Fusionsstrategien sind einfach zu implementieren, aber unzureichend. In dieser Arbeit schlagen wir eine neuartige Fusionsmethode vor, die explizite Aufmerksamkeitsverstärkte Fusion (EAEF) genannt wird und die den vollen Nutzen aus jeder Art von Daten zieht. Insbesondere betrachten wir folgende Fälle: i) sowohl RGB-Daten als auch thermische Daten, ii) nur eine der beiden Datensorten und iii) keine der beiden Datensorten generiert diskriminierende Merkmale. EAEF verwendet einen Ast, um die Merkmalsextraktion für i) und iii) zu verbessern, und den anderen Ast, um unzureichende Darstellungen für ii) zu korrigieren. Die Ausgaben der beiden Äste werden fusioniert, um komplementäre Merkmale zu bilden. Das Ergebnis ist, dass die vorgeschlagene Fusionsmethode in mehreren Aufgaben über den aktuellen Stand der Technik hinausragt: Sie erreicht 1,6 % bessere Leistung im mIoU bei semantischer Segmentierung, 3,1 % bessere Leistung im MAE bei der Erkennung hervorstechender Objekte, 2,3 % bessere Leistung im mAP bei Objekterkennung und 8,1 % bessere Leistung im MAE bei Menschenzählung. Der Code ist unter https://github.com/FreeformRobotics/EAEFNet verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp