Explizite Aufmerksamkeitsverstärkte Fusion für RGB-Thermale Wahrnehmungsaufgaben

Kürzlich haben RGB-Thermobasierte Wahrnehmungssysteme erhebliche Fortschritte gemacht. Thermische Informationen bieten nützliche Hinweise, wenn visuelle Kameras unter schlechten Beleuchtungsbedingungen, wie z.B. niedrigem Licht oder Nebel, leiden. Dennoch bleibt die effektive Fusion von RGB-Bildern und thermischen Daten eine offene Herausforderung. Frühere Arbeiten beinhalteten einfache Fusionsstrategien, wie das Zusammenführen der Daten am Eingang, das Verketten multimodaler Merkmale innerhalb von Modellen oder das Anwenden von Aufmerksamkeit auf jede Datensorte. Diese Fusionsstrategien sind einfach zu implementieren, aber unzureichend. In dieser Arbeit schlagen wir eine neuartige Fusionsmethode vor, die explizite Aufmerksamkeitsverstärkte Fusion (EAEF) genannt wird und die den vollen Nutzen aus jeder Art von Daten zieht. Insbesondere betrachten wir folgende Fälle: i) sowohl RGB-Daten als auch thermische Daten, ii) nur eine der beiden Datensorten und iii) keine der beiden Datensorten generiert diskriminierende Merkmale. EAEF verwendet einen Ast, um die Merkmalsextraktion für i) und iii) zu verbessern, und den anderen Ast, um unzureichende Darstellungen für ii) zu korrigieren. Die Ausgaben der beiden Äste werden fusioniert, um komplementäre Merkmale zu bilden. Das Ergebnis ist, dass die vorgeschlagene Fusionsmethode in mehreren Aufgaben über den aktuellen Stand der Technik hinausragt: Sie erreicht 1,6 % bessere Leistung im mIoU bei semantischer Segmentierung, 3,1 % bessere Leistung im MAE bei der Erkennung hervorstechender Objekte, 2,3 % bessere Leistung im mAP bei Objekterkennung und 8,1 % bessere Leistung im MAE bei Menschenzählung. Der Code ist unter https://github.com/FreeformRobotics/EAEFNet verfügbar.