Geführte aufmerksame Merkmalsfusion für die multispektrale Fußgängererkennung

Multispektrale Bildpaare können ergänzende visuelle Informationen liefern und damit die Robustheit und Zuverlässigkeit von Menschenerkennungssystemen erhöhen. Um sowohl die RGB- als auch die thermische Infrarot-(IR-)Modaliät optimal zu nutzen, stellen wir einen neuartigen anspruchsvollen Ansatz zur Fusionsmultispektraler Merkmale vor. Unter der Leitung von Inter- und Intra-Modality-Attention-Modulen lernt unsere tiefe Lernarchitektur dynamisch, die multispektralen Merkmale zu gewichten und zu fusionieren. Experimente an zwei öffentlichen multispektralen Datensätzen für Objekterkennung zeigen, dass der vorgeschlagene Ansatz die Erkennungsgenauigkeit signifikant verbessert, und zwar mit geringem Rechenaufwand.