HyperAIHyperAI

Command Palette

Search for a command to run...

Neu betrachtet: Farbe-Event-basiertes Tracking: Ein einheitliches Netzwerk, Datensatz und Maßstab

Chuanming Tang Xiao Wang Ju Huang Bo Jiang Lin Zhu Jianlin Zhang Yaowei Wang Yonghong Tian

Zusammenfassung

Die Kombination von Farbbild- und Ereigniskameras (auch als Dynamische Vision Sensoren, DVS, bezeichnet) für eine robuste Objektverfolgung ist in den letzten Jahren zu einem neu entstehenden Forschungsthema geworden. Bestehende Farb-Ereignis-Verfolgungsframeworks enthalten üblicherweise mehrere verstreute Module, was zu geringer Effizienz und hoher rechnerischer Komplexität führen kann, beispielsweise bei der Merkmalsextraktion, Fusion, Abgleichung und interaktiver Lernprozesse. In diesem Artikel stellen wir einen einstufigen Backbone-Netzwerkansatz für die Farb-Ereignis-unierte Verfolgung (CEUTrack) vor, der diese Funktionen gleichzeitig realisiert. Gegeben Ereignispunkte und RGB-Bilder transformieren wir zunächst die Punkte in Voxel-Daten und extrahieren jeweils Vorlage- und Suchregionen für beide Modalitäten. Anschließend werden diese Regionen in Tokens projiziert und parallel in das einheitliche Transformer-Backbone-Netzwerk eingespeist. Die resultierenden Merkmale werden anschließend in einen Verfolgungshead geleitet, um die Position des Zielobjekts zu bestimmen. Unser vorgeschlagener CEUTrack ist einfach, effektiv und effizient und erreicht eine Geschwindigkeit von über 75 FPS sowie neue SOTA-Leistungen. Um die Wirksamkeit unseres Modells besser zu validieren und das Manko an Daten für diese Aufgabe zu adressieren, präsentieren wir zudem einen allgemeinen und großskaligen Benchmark-Datensatz für Farb-Ereignis-Verfolgung, COESOT genannt, der 90 Kategorien und 1354 Videosequenzen umfasst. Zusätzlich wird in unserem Evaluierungstool ein neuer Bewertungsmaßstab namens BOC eingeführt, um die Leistungsfähigkeit im Vergleich zu Basismethoden zu bewerten. Wir hoffen, dass die neu vorgeschlagene Methode, der Datensatz und die Bewertungsmaßzahl eine verbesserte Plattform für die Farb-Ereignis-basierte Verfolgung bieten. Der Datensatz, das Evaluierungstool und der Quellcode werden unter folgender URL veröffentlicht: \url{https://github.com/Event-AHU/COESOT}.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp