HyperAIHyperAI

Command Palette

Search for a command to run...

VisEvent: Zuverlässige Objektverfolgung durch Zusammenarbeit von Frame- und Ereignisflüssen

Xiao Wang Jianing Li Lin Zhu Zhipeng Zhang Zhe Chen Xin Li Yaowei Wang Yonghong Tian Feng Wu

Zusammenfassung

Im Gegensatz zu sichtbaren Kameras, die Intensitätsbilder frameweise aufzeichnen, erzeugt die biologisch inspirierte Ereigniskamera eine asynchrone und spärliche Ereignisströmung mit deutlich geringerer Latenz. In der Praxis können sichtbare Kameras Texturen und langsame Bewegungen besser erfassen, während Ereigniskameras frei von Bewegungsunschärfe sind und über einen größeren Dynamikbereich verfügen, was sie besonders gut für Anwendungen unter schneller Bewegung und niedriger Beleuchtung geeignet macht. Daher können die beiden Sensoren synergistisch zusammenarbeiten, um eine zuverlässigere Objektverfolgung zu ermöglichen. In dieser Arbeit präsentieren wir einen großskaligen Sichtbar-Ereignis-Benchmark (VisEvent), da bisher kein realistisches und ausreichend großes Datenset für diese Aufgabe existierte. Unser Datenset besteht aus 820 Videopaaren, die unter Bedingungen niedriger Beleuchtung, hoher Geschwindigkeit und komplexer Hintergründe aufgenommen wurden, und ist in eine Trainings- und eine Testuntergruppe aufgeteilt, jeweils mit 500 bzw. 320 Videos. Auf Basis von VisEvent transformieren wir Ereignisströme in Ereignisbilder und entwickeln über 30 Baseline-Methoden, indem wir bestehende Einzelmodus-Tracker zu dualmodalen Versionen erweitern. Insbesondere stellen wir einen einfachen, aber effektiven Verfolgungsalgorithmus vor, der einen Cross-Modality-Transformer einführt, um eine effizientere Merkmalsfusion zwischen sichtbaren und Ereignisdaten zu erreichen. Umfassende Experimente auf dem vorgeschlagenen VisEvent-Datenset, FE108, COESOT sowie zwei simulierten Datensätzen (OTB-DVS und VOT-DVS) bestätigen die Wirksamkeit unseres Ansatzes. Das Datenset und der Quellcode sind unter folgender URL veröffentlicht: \url{https://github.com/wangxiao5791509/VisEvent_SOT_Benchmark}.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
VisEvent: Zuverlässige Objektverfolgung durch Zusammenarbeit von Frame- und Ereignisflüssen | Paper | HyperAI