Réduire l'écart entre la simulation et la réalité pour les caméras événementielles

Les caméras événementielles sont de nouveaux capteurs révolutionnaires qui signalent des changements de luminosité par pixel de manière asynchrone, appelés « événements », avec une latence sans égale. Cela les rend idéales pour des scènes à haute vitesse et à grande plage dynamique, où les caméras conventionnelles échoueraient. Des travaux récents ont montré des résultats impressionnants en utilisant des Réseaux Neuronaux Convolutifs (CNN) pour la reconstruction vidéo et l'estimation du flux optique à partir d'événements. Nous présentons des stratégies pour améliorer les données d'entraînement destinées aux CNN basés sur les événements, ce qui entraîne une augmentation de 20 à 40 % des performances des réseaux de reconstruction vidéo existants lorsqu'ils sont réentraînés avec notre méthode, et jusqu'à 15 % pour les réseaux d'estimation du flux optique. Un défi dans l'évaluation de la reconstruction vidéo basée sur les événements est le manque d'images de référence de qualité dans les jeux de données existants. Pour y remédier, nous présentons un nouveau jeu de données appelé High Quality Frames (HQF), contenant des événements et des images de référence provenant d'une DAVIS240C, bien exposées et avec un flou de mouvement minimal. Nous évaluons notre méthode sur le jeu de données HQF ainsi que sur plusieurs jeux de données majeurs existants pour caméras événementielles.