HyperAIHyperAI

Command Palette

Search for a command to run...

Kreuzfusions RGB-T-Verfolgung mit bidirektionalem Adapter

Zhirong Zeng Xiaotao Liu* Meng Sun Hongyu Wang Jing Liu

Zusammenfassung

Viele moderne RGB-T-Verfolgungssysteme haben durch die Modalitätsfusion bemerkenswerte Ergebnisse erzielt. Allerdings vernachlässigen diese Systeme oft zeitliche Informationen oder können sie nicht vollständig nutzen, was zu einem ineffektiven Gleichgewicht zwischen multimodalen und zeitlichen Informationen führt. Um dieses Problem zu lösen, schlagen wir eine neuartige Cross-Fusion RGB-T-Verfolgungsarchitektur (CFBT) vor, die die volle Beteiligung mehrerer Modalitäten bei der Verfolgung gewährleistet und gleichzeitig zeitliche Informationen dynamisch fusioniert. Die Effektivität von CFBT basiert auf drei neu entwickelten Modulen zur Fusion von räumlich-zeitlichen Informationen: Cross-Spatio-Temporal Augmentation Fusion (CSTAF), Cross-Spatio-Temporal Complementarity Fusion (CSTCF) und Dual-Stream Spatio-Temporal Adapter (DSTA). CSTAF verwendet ein Cross-Attention-Mechanismus, um die Merkmalsrepräsentation des Vorlagenbildes umfassend zu verbessern. CSTCF nutzt die komplementären Informationen zwischen verschiedenen Zweigen, um Zielfeatures zu verstärken und Hintergrundfeatures zu unterdrücken. DSTA greift das Konzept des Adapters auf, um komplementäre Informationen aus mehreren Zweigen innerhalb der Transformer-Schicht adaptiv zu fusionieren, wobei das RGB-Modell als Medium dient. Diese kreativen Fusionen verschiedener Perspektiven führen nur zu einer Zunahme von weniger als 0,3 % der gesamten modalen Parameter, ermöglichen aber tatsächlich eine effiziente Balance zwischen multimodalen und zeitlichen Informationen. Ausführliche Experimente anhand dreier gängiger RGB-T-Verfolgungsbenchmarks zeigen, dass unsere Methode neue Standarte-Leistungen erreicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp