Ereignisbasierte Fusion für Bewegungsunschärfebeseitigung mit Kreuzmodaler Aufmerksamkeit

Traditionelle framebasierte Kameras leiden zwangsläufig unter Bewegungsunschärfe aufgrund langer Belichtungszeiten. Als bioinspirierte Kamera protokolliert die Ereigniskamera die Helligkeitsänderungen asynchron mit hoher zeitlicher Auflösung und liefert somit valide Informationen über die Bildverzerrung innerhalb der Belichtungszeit. In diesem Artikel überdenken wir das Problem der ereignisbasierten Bildentunschärfung neu und formulieren es als ein end-to-end-Netzwerk mit zwei Stufen zur Bildrekonstruktion. Um Ereignis- und Bildmerkmale effektiv zu fusionieren, entwickeln wir ein ereignis-bildübergreifendes, mehrstufiges Aufmerksamkeitsmodul, das es ermöglicht, sich auf relevante Merkmale aus dem Ereigniszweig zu konzentrieren und Rauschen zu unterdrücken. Zudem führen wir eine neuartige symmetrische kumulative Ereignisdarstellung speziell für die Bildentunschärfung ein sowie eine ereignisbasierte Maske, die die Verbindung zwischen den beiden Stufen unseres Netzwerks steuert und so Informationsverlust vermeidet. Auf Datensatzebene präsentieren wir den Real Event Blur (REBlur)-Datensatz, der unter kontrollierter Beleuchtung in einer optischen Laborumgebung mit einer Ereigniskamera erfasst wurde, um die ereignisbasierte Bewegungsunschärfung zu fördern und eine Bewertung auf anspruchsvollen realen Bildern zu ermöglichen. Unser Event Fusion Network (EFNet) erreicht die neue State-of-the-Art-Leistung bei der Bewegungsunschärfung und übertrifft sowohl die bisher beste framebasierte Methode als auch alle öffentlich verfügbaren ereignisbasierten Ansätze auf dem GoPro-Datensatz (um bis zu 2,47 dB) und auf unserem REBlur-Datensatz, selbst unter extremen Verwischungsbedingungen. Der Quellcode und der REBlur-Datensatz werden öffentlich zugänglich gemacht.