Vertrauensbewusste Fusion mittels Dempster-Shafer-Theorie für multispektrale Fußgängererkennung

Die multispektrale Personenerkennung ist eine wichtige und wertvolle Aufgabe in zahlreichen Anwendungen, da sie durch die komplementäre visuelle Information aus Farb- und Wärmebildern eine genauere und zuverlässigere Erkennung von Personen ermöglicht. Sie steht jedoch vor zwei offenen und herausfordernden Problemen: 1) die effektive und dynamische Integration multispektraler Informationen basierend auf dem Vertrauen verschiedener Modalitäten und 2) die Erzeugung einer zuverlässigen Vorhersage. In diesem Artikel stellen wir eine neuartige, vertrauensbewusste Methode für die multispektrale Personenerkennung (Confidence-aware Multispectral Pedestrian Detection, CMPD) vor, die flexibel multispektrale Darstellungen lernt und gleichzeitig zuverlässige Ergebnisse mit Vertrauensschätzung liefert. Konkret wird zunächst eine dichte Fusionstrategie vorgeschlagen, um multilevel multispektrale Darstellungen auf Merkmalsebene zu extrahieren. Anschließend wird ein zusätzlicher Vertrauens-Unter-Netzwerk eingesetzt, um die Erkennungsvertrauenswerte dynamisch für jede Modality zu schätzen. Schließlich wird die Dempster-Kombinationsregel eingeführt, um die Ergebnisse verschiedener Zweige basierend auf korrigierten Vertrauenswerten zu fusionieren. Die vorgeschlagene CMPD-Methode integriert nicht nur effektiv multimodale Informationen, sondern liefert auch zuverlässige Vorhersagen. Umfangreiche experimentelle Ergebnisse belegen die Effizienz unseres Algorithmus im Vergleich zu aktuellen State-of-the-Art-Verfahren.