HyperE2VID: Verbesserung der ereignisbasierten Video-Rekonstruktion durch Hypernetze

Eventbasierte Kameras gewinnen zunehmend an Popularität aufgrund ihrer Fähigkeit, schnelle Bewegungen mit geringer Latenz und hoher Dynamik zu erfassen. Dennoch bleibt die Generierung von Videos aus Ereignissen aufgrund der stark dünnen und variablen Natur der Ereignisdaten eine Herausforderung. Um dies anzugehen, schlagen wir in dieser Studie HyperE2VID vor, eine dynamische neuronale Netzwerkarchitektur zur Rekonstruktion von eventbasierten Videos. Unser Ansatz verwendet Hypernetzwerke, um pixelweise adaptive Filter zu generieren, die durch ein Kontextfusionsmodul gesteuert werden, das Informationen aus Ereignisvoxelgittern und zuvor rekonstruierten Intensitätsbildern kombiniert. Wir setzen zudem eine Curriculum-Lernstrategie ein, um das Netzwerk robuster zu trainieren. Unsere umfassenden experimentellen Auswertungen an verschiedenen Benchmark-Datensätzen zeigen, dass HyperE2VID nicht nur die aktuellen Standesmethoden (state-of-the-art methods) in Bezug auf die Rekonstruktionsqualität übertrifft, sondern dies auch mit weniger Parametern, reduzierten Rechenanforderungen und beschleunigten Inferenzzeiten erreicht.