HyperE2VID : Amélioration de la reconstruction vidéo basée sur les événements grâce aux hyper-réseaux

Les caméras événementielles gagnent en popularité grâce à leur capacité à capturer des mouvements rapides avec une faible latence et une grande plage dynamique. Cependant, la génération de vidéos à partir d'événements reste un défi en raison de la nature hautement éparse et variable des données d'événements. Pour répondre à ce problème, dans cette étude, nous proposons HyperE2VID, une architecture de réseau neuronal dynamique pour la reconstruction vidéo événementielle. Notre approche utilise des hyper-réseaux pour générer des filtres adaptatifs par pixel, guidés par un module de fusion contextuelle qui combine les informations provenant des grilles de voxels d'événements et des images d'intensité précédemment reconstruites. Nous utilisons également une stratégie d'apprentissage par curriculum pour entraîner le réseau de manière plus robuste. Nos évaluations expérimentales exhaustives sur divers ensembles de données de référence montrent que HyperE2VID non seulement dépasse les méthodes actuelles les plus avancées en termes de qualité de reconstruction, mais y parvient également avec moins de paramètres, des exigences computationnelles réduites et des temps d'inférence accélérés.