VisEvent: Zuverlässige Objektverfolgung durch Zusammenarbeit von Frame- und Ereignisflüssen

Im Gegensatz zu sichtbaren Kameras, die Intensitätsbilder frameweise aufzeichnen, erzeugt die biologisch inspirierte Ereigniskamera eine asynchrone und spärliche Ereignisströmung mit deutlich geringerer Latenz. In der Praxis können sichtbare Kameras Texturen und langsame Bewegungen besser erfassen, während Ereigniskameras frei von Bewegungsunschärfe sind und über einen größeren Dynamikbereich verfügen, was sie besonders gut für Anwendungen unter schneller Bewegung und niedriger Beleuchtung geeignet macht. Daher können die beiden Sensoren synergistisch zusammenarbeiten, um eine zuverlässigere Objektverfolgung zu ermöglichen. In dieser Arbeit präsentieren wir einen großskaligen Sichtbar-Ereignis-Benchmark (VisEvent), da bisher kein realistisches und ausreichend großes Datenset für diese Aufgabe existierte. Unser Datenset besteht aus 820 Videopaaren, die unter Bedingungen niedriger Beleuchtung, hoher Geschwindigkeit und komplexer Hintergründe aufgenommen wurden, und ist in eine Trainings- und eine Testuntergruppe aufgeteilt, jeweils mit 500 bzw. 320 Videos. Auf Basis von VisEvent transformieren wir Ereignisströme in Ereignisbilder und entwickeln über 30 Baseline-Methoden, indem wir bestehende Einzelmodus-Tracker zu dualmodalen Versionen erweitern. Insbesondere stellen wir einen einfachen, aber effektiven Verfolgungsalgorithmus vor, der einen Cross-Modality-Transformer einführt, um eine effizientere Merkmalsfusion zwischen sichtbaren und Ereignisdaten zu erreichen. Umfassende Experimente auf dem vorgeschlagenen VisEvent-Datenset, FE108, COESOT sowie zwei simulierten Datensätzen (OTB-DVS und VOT-DVS) bestätigen die Wirksamkeit unseres Ansatzes. Das Datenset und der Quellcode sind unter folgender URL veröffentlicht: \url{https://github.com/wangxiao5791509/VisEvent_SOT_Benchmark}.