ICAFusion: Iterative Cross-Attention-Guided Feature Fusion für die Multispektrale Objekterkennung

Effektive Merkmalsfusion von Multispektralbildern spielt eine entscheidende Rolle bei der multispектrale Objekterkennung. Frühere Studien haben die Effektivität der Merkmalsfusion unter Verwendung von Faltungsneuronalen Netzen (Convolutional Neural Networks, CNNs) gezeigt, diese Methoden sind jedoch anfällig für Bildverschiebungen aufgrund des inhärenten Mangels an lokalen Merkmalsinteraktionen, was zu einer Leistungsverschlechterung führt. Um dieses Problem zu lösen, wird ein neues Merkmalsfusionsframework mit dualen Cross-Attention-Transformern vorgeschlagen, um globale Merkmalsinteraktionen zu modellieren und gleichzeitig ergänzende Informationen über verschiedene Modalitäten zu erfassen. Dieses Framework verbessert die Unterscheidbarkeit von Objektmerkmalen durch den abfragegeführten Cross-Attention-Mechanismus, was zu einer erhöhten Leistung führt. Allerdings führt das Stapeln mehrerer Transformer-Blöcke zur Steigerung der Anzahl der Parameter und zu hoher räumlicher Komplexität. Um dies anzugehen, wurde inspiriert durch den menschlichen Prozess des Wissensdurchgehens ein iterativer Interaktionsmechanismus vorgeschlagen, um Parameter zwischen blockweisen multimodalen Transformatoren zu teilen. Dies reduziert die Modellkomplexität und den Rechenaufwand. Die vorgeschlagene Methode ist allgemein und effektiv und kann in verschiedene Erkennungsframeworks integriert werden sowie mit verschiedenen Backbones verwendet werden. Experimentelle Ergebnisse auf den Datensätzen KAIST, FLIR und VEDAI zeigen, dass die vorgeschlagene Methode überlegene Leistung und schnelleres Inferenz erzielt, wodurch sie für verschiedene praktische Szenarien geeignet ist. Der Code wird unter https://github.com/chanchanchan97/ICAFusion verfügbar sein.请注意，这里“法语读者”应为“德语读者”。如果您有其他需要调整的地方，请告知。