Kreuzfusions RGB-T-Verfolgung mit bidirektionalem Adapter

Viele moderne RGB-T-Verfolgungssysteme haben durch die Modalitätsfusion bemerkenswerte Ergebnisse erzielt. Allerdings vernachlässigen diese Systeme oft zeitliche Informationen oder können sie nicht vollständig nutzen, was zu einem ineffektiven Gleichgewicht zwischen multimodalen und zeitlichen Informationen führt. Um dieses Problem zu lösen, schlagen wir eine neuartige Cross-Fusion RGB-T-Verfolgungsarchitektur (CFBT) vor, die die volle Beteiligung mehrerer Modalitäten bei der Verfolgung gewährleistet und gleichzeitig zeitliche Informationen dynamisch fusioniert. Die Effektivität von CFBT basiert auf drei neu entwickelten Modulen zur Fusion von räumlich-zeitlichen Informationen: Cross-Spatio-Temporal Augmentation Fusion (CSTAF), Cross-Spatio-Temporal Complementarity Fusion (CSTCF) und Dual-Stream Spatio-Temporal Adapter (DSTA). CSTAF verwendet ein Cross-Attention-Mechanismus, um die Merkmalsrepräsentation des Vorlagenbildes umfassend zu verbessern. CSTCF nutzt die komplementären Informationen zwischen verschiedenen Zweigen, um Zielfeatures zu verstärken und Hintergrundfeatures zu unterdrücken. DSTA greift das Konzept des Adapters auf, um komplementäre Informationen aus mehreren Zweigen innerhalb der Transformer-Schicht adaptiv zu fusionieren, wobei das RGB-Modell als Medium dient. Diese kreativen Fusionen verschiedener Perspektiven führen nur zu einer Zunahme von weniger als 0,3 % der gesamten modalen Parameter, ermöglichen aber tatsächlich eine effiziente Balance zwischen multimodalen und zeitlichen Informationen. Ausführliche Experimente anhand dreier gängiger RGB-T-Verfolgungsbenchmarks zeigen, dass unsere Methode neue Standarte-Leistungen erreicht.