HyperAIHyperAI

Command Palette

Search for a command to run...

Ereignisbasierte Fusion für Bewegungsunschärfebeseitigung mit Kreuzmodaler Aufmerksamkeit

Lei Sun Christos Sakaridis Jingyun Liang Qi Jiang Kailun Yang Peng Sun Yaozu Ye Kaiwei Wang Luc Van Gool

Zusammenfassung

Traditionelle framebasierte Kameras leiden zwangsläufig unter Bewegungsunschärfe aufgrund langer Belichtungszeiten. Als bioinspirierte Kamera protokolliert die Ereigniskamera die Helligkeitsänderungen asynchron mit hoher zeitlicher Auflösung und liefert somit valide Informationen über die Bildverzerrung innerhalb der Belichtungszeit. In diesem Artikel überdenken wir das Problem der ereignisbasierten Bildentunschärfung neu und formulieren es als ein end-to-end-Netzwerk mit zwei Stufen zur Bildrekonstruktion. Um Ereignis- und Bildmerkmale effektiv zu fusionieren, entwickeln wir ein ereignis-bildübergreifendes, mehrstufiges Aufmerksamkeitsmodul, das es ermöglicht, sich auf relevante Merkmale aus dem Ereigniszweig zu konzentrieren und Rauschen zu unterdrücken. Zudem führen wir eine neuartige symmetrische kumulative Ereignisdarstellung speziell für die Bildentunschärfung ein sowie eine ereignisbasierte Maske, die die Verbindung zwischen den beiden Stufen unseres Netzwerks steuert und so Informationsverlust vermeidet. Auf Datensatzebene präsentieren wir den Real Event Blur (REBlur)-Datensatz, der unter kontrollierter Beleuchtung in einer optischen Laborumgebung mit einer Ereigniskamera erfasst wurde, um die ereignisbasierte Bewegungsunschärfung zu fördern und eine Bewertung auf anspruchsvollen realen Bildern zu ermöglichen. Unser Event Fusion Network (EFNet) erreicht die neue State-of-the-Art-Leistung bei der Bewegungsunschärfung und übertrifft sowohl die bisher beste framebasierte Methode als auch alle öffentlich verfügbaren ereignisbasierten Ansätze auf dem GoPro-Datensatz (um bis zu 2,47 dB) und auf unserem REBlur-Datensatz, selbst unter extremen Verwischungsbedingungen. Der Quellcode und der REBlur-Datensatz werden öffentlich zugänglich gemacht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp