HyperAIHyperAI

Command Palette

Search for a command to run...

Autoregressive Queries for Adaptive Tracking with Spatio-Temporal Transformers

Jinxia Xie Bineng Zhong Zhiyi Mo Shengping Zhang Liangtao Shi Shuxiang Song Rongrong Ji

Zusammenfassung

Die reiche räumlich-zeitliche Information ist entscheidend dafür, die komplexen Veränderungen des Ziels in der visuellen Verfolgung adäquat zu erfassen. Die meisten führenden Tracking-Algorithmen stützen sich jedoch auf zahlreiche handkurierte Komponenten zur Aggregation räumlich-zeitlicher Informationen. Dadurch bleibt die räumlich-zeitliche Information weitgehend ungenutzt ausgeschöpft. Um dieses Problem zu mildern, schlagen wir einen adaptiven Tracker mit räumlich-zeitlichen Transformers vor (AQATrack), der einfache autoregressive Abfragen nutzt, um räumlich-zeitliche Informationen effektiv zu lernen, ohne auf viele handgestaltete Komponenten angewiesen zu sein. Zunächst führen wir eine Menge lernbarer, autoregressiver Abfragen ein, um Veränderungen der momentanen Zielerscheinung in einer gleitenden Fenster-Weise zu erfassen. Anschließend entwerfen wir eine neuartige Aufmerksamkeitsmechanik zur Interaktion bestehender Abfragen, um eine neue Abfrage im aktuellen Frame zu generieren. Schließlich wird auf Basis der ursprünglichen Zielvorlage und der gelernten autoregressiven Abfragen ein räumlich-zeitliches Informationsfusionmodul (STM) entworfen, das die Aggregation räumlich-zeitlicher Informationen ermöglicht, um das Zielobjekt präzise zu lokalisieren. Dank des STM können wir effektiv die statische Erscheinung und die momentanen Veränderungen kombinieren, um eine robuste Verfolgung zu gewährleisten. Umfangreiche Experimente zeigen, dass unsere Methode die Leistung des Trackers signifikant auf sechs etablierten Benchmark-Datenbanken verbessert: LaSOT, LaSOText, TrackingNet, GOT-10k, TNL2K und UAV123.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Autoregressive Queries for Adaptive Tracking with Spatio-Temporal Transformers | Paper | HyperAI