Entfernung dann Auswahl: Ein Grob-zu-Fein-Fusionsperspektive für die Objekterkennung mit RGB-Infrarot

In den letzten Jahren hat die Objektdetektion, die sowohl sichtbares (RGB) als auch thermisches Infrarot (IR) Bildmaterial nutzt, erhebliche Aufmerksamkeit erlangt und weithin in einer Vielzahl von Anwendungsbereichen eingesetzt worden. Durch die Nutzung der ergänzenden Eigenschaften zwischen RGB- und IR-Bildern kann die Objektdetektion zuverlässige und robuste Objektlokalisierung unter verschiedenen Beleuchtungsbedingungen, von Tag bis Nacht, erreichen. Die meisten bestehenden Methoden zur multimodalen Objektdetektion geben die RGB- und IR-Bilder direkt in tiefe neuronale Netzwerke ein, was zu einer unterdurchschnittlichen Detektionsleistung führt. Wir gehen davon aus, dass dieses Problem nicht nur auf den Herausforderungen der effektiven Integration multimodaler Informationen zurückzuführen ist, sondern auch auf die Anwesenheit redundanter Merkmale in beiden Modalitäten. Die redundante Information jeder Modality verschärft die Ungenauigkeiten bei der Fusion während der Propagation. Um dieses Problem zu lösen, lassen wir uns von der Art und Weise inspirieren, wie das menschliche Gehirn multimodale Informationen verarbeitet, und schlagen einen neuartigen grob-zu-fein Ansatz zur Reinigung und Fusion von Merkmalen aus beiden Modalitäten vor. Konkret entwerfen wir im Rahmen dieses Ansatzes ein Modul zur Entfernung redundanter Spektren, um störende Informationen innerhalb jeder Modality grob zu eliminieren, sowie ein Modul zur dynamischen Merkmalsauswahl, um fein auszuwählen, welche Merkmale für die Merkmalsfusion geeignet sind. Um die Wirksamkeit des grob-zu-fein Fusionierungsansatzes zu überprüfen, haben wir einen neuen Objektdetektor namens Removal then Selection Detector (RSDet) entwickelt. Umfassende Experimente an drei RGB-IR-Objektdetektions-Datensätzen bestätigen die überlegene Leistung unseres Verfahrens.