HyperAIHyperAI

Command Palette

Search for a command to run...

SDSTrack: Selbst-Destillierung symmetrisches Adapterlernen für die mehrmodal visuelle Objektverfolgung

Xiaojun Hou; Jiazheng Xing; Yijie Qian; Yaowei Guo; Shuo Xin; Junhao Chen; Kai Tang; Mengmeng Wang; Zhengkai Jiang; Liang Liu; Yong Liu

Zusammenfassung

Die multimodale visuelle Objektverfolgung (VOT) hat aufgrund ihrer Robustheit in letzter Zeit erhebliche Aufmerksamkeit gefunden. Frühe Forschungen konzentrierten sich auf die vollständige Feinabstimmung von RGB-basierten Trackern, was ineffizient war und aufgrund der Knappheit multimodaler Daten eine generalisierte Darstellung vermisste. Daher haben jüngere Studien Prompt-Tuning genutzt, um vortrainierte RGB-basierte Tracker auf multimodale Daten zu übertragen. Dennoch begrenzt der Modalitätsunterschied das Abrufen vortrainierten Wissens, und die Dominanz des RGB-Modus bleibt bestehen, was die vollständige Nutzung von Informationen aus anderen Modalitäten verhindert. Um diese Probleme zu lösen, schlagen wir ein neues symmetrisches multimodales Tracking-Framework namens SDSTrack vor. Wir führen eine leichte Anpassung für effizientes Feinabstimmung ein, die die Fähigkeit zur Merkmalsextraktion direkt von RGB auf andere Bereiche mit einer geringen Anzahl von trainierbaren Parametern überträgt und multimodale Merkmale in einem ausgewogenen, symmetrischen Verhältnis integriert. Des Weiteren entwickeln wir eine komplementäre Maskierte-Patch-Destillationsstrategie, um die Robustheit der Tracker in komplexen Umgebungen wie Extremwetter, schlechte Bildgebung und Sensorausfälle zu verbessern. Ausführliche Experimente zeigen, dass SDSTrack in verschiedenen multimodalen Tracking-Szenarien, einschließlich RGB+Tiefe, RGB+Thermisch und RGB+Ereignis-Tracking, den Stand der Technik übertreffen kann und beeindruckende Ergebnisse unter extremen Bedingungen erzielt. Unser Quellcode ist unter https://github.com/hoqolo/SDSTrack verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp