HyperAIHyperAI

Command Palette

Search for a command to run...

MambaVT: Modellierung des räumlich-zeitlichen Kontextes für robustes RGB-T-Tracking

Simiao Lai Chang Liu Jiawen Zhu Ben Kang Yang Liu Dong Wang Huchuan Lu

Zusammenfassung

Bestehende RGB-T-Verfolgungsalgorithmen haben durch die Nutzung der globalen Interaktionsfähigkeit und umfangreicher vortrainierter Modelle der Transformer-Architektur bemerkenswerte Fortschritte gemacht. Dennoch basieren diese Methoden hauptsächlich auf dem Erscheinungsmuster von Bildpaaren und stoßen auf Herausforderungen infolge der inhärenten hoch quadratischen Komplexität des Aufmerksamheitsmechanismus, was zu einer eingeschränkten Nutzung zeitlicher Informationen führt. Inspiriert von dem kürzlich entwickelten Zustandsraummodell Mamba, das für seine beeindruckenden Fähigkeiten zur Modellierung langer Sequenzen und seine lineare Rechenaufwandskomplexität bekannt ist, schlägt diese Arbeit ein rein Mamba-basiertes Framework (MambaVT) vor, um die räumlich-zeitliche Kontextmodellierung vollständig auszuschöpfen und eine robuste sichtbare-Thermische Verfolgung zu ermöglichen. Insbesondere entwickeln wir ein Komponente zur langreichweitigen Querbildintegration, um sich global an Änderungen im Erscheinungsbild des Ziels anzupassen, und führen kurzfristige historische Trajektorienprompts ein, um nachfolgende Zielzustände auf Basis lokaler zeitlicher Standorthinweise vorherzusagen. Umfangreiche Experimente zeigen das erhebliche Potenzial des visuellen Mambas für RGB-T-Verfolgung, wobei MambaVT den aktuellen Stand der Technik in vier Hauptbenchmarks erreicht und dabei geringere Rechenaufwände verlangt. Ziel dieser Arbeit ist es, als einfache aber starke Baseline zu dienen und zukünftige Forschungen in diesem Bereich anzuregen. Der Code und die vortrainierten Modelle werden verfügbar gemacht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp