Neu betrachtet: Farbe-Event-basiertes Tracking: Ein einheitliches Netzwerk, Datensatz und Maßstab

Die Kombination von Farbbild- und Ereigniskameras (auch als Dynamische Vision Sensoren, DVS, bezeichnet) für eine robuste Objektverfolgung ist in den letzten Jahren zu einem neu entstehenden Forschungsthema geworden. Bestehende Farb-Ereignis-Verfolgungsframeworks enthalten üblicherweise mehrere verstreute Module, was zu geringer Effizienz und hoher rechnerischer Komplexität führen kann, beispielsweise bei der Merkmalsextraktion, Fusion, Abgleichung und interaktiver Lernprozesse. In diesem Artikel stellen wir einen einstufigen Backbone-Netzwerkansatz für die Farb-Ereignis-unierte Verfolgung (CEUTrack) vor, der diese Funktionen gleichzeitig realisiert. Gegeben Ereignispunkte und RGB-Bilder transformieren wir zunächst die Punkte in Voxel-Daten und extrahieren jeweils Vorlage- und Suchregionen für beide Modalitäten. Anschließend werden diese Regionen in Tokens projiziert und parallel in das einheitliche Transformer-Backbone-Netzwerk eingespeist. Die resultierenden Merkmale werden anschließend in einen Verfolgungshead geleitet, um die Position des Zielobjekts zu bestimmen. Unser vorgeschlagener CEUTrack ist einfach, effektiv und effizient und erreicht eine Geschwindigkeit von über 75 FPS sowie neue SOTA-Leistungen. Um die Wirksamkeit unseres Modells besser zu validieren und das Manko an Daten für diese Aufgabe zu adressieren, präsentieren wir zudem einen allgemeinen und großskaligen Benchmark-Datensatz für Farb-Ereignis-Verfolgung, COESOT genannt, der 90 Kategorien und 1354 Videosequenzen umfasst. Zusätzlich wird in unserem Evaluierungstool ein neuer Bewertungsmaßstab namens BOC eingeführt, um die Leistungsfähigkeit im Vergleich zu Basismethoden zu bewerten. Wir hoffen, dass die neu vorgeschlagene Methode, der Datensatz und die Bewertungsmaßzahl eine verbesserte Plattform für die Farb-Ereignis-basierte Verfolgung bieten. Der Datensatz, das Evaluierungstool und der Quellcode werden unter folgender URL veröffentlicht: \url{https://github.com/Event-AHU/COESOT}.