Vidéo à Haut Débit et Grande Plage Dynamique avec une Caméra Événementielle

Les caméras événementielles sont de nouveaux capteurs qui rapportent les changements de luminosité sous la forme d'un flux d'événements asynchrones plutôt que de cadres d'intensité. Elles offrent des avantages significatifs par rapport aux caméras conventionnelles : une haute résolution temporelle, une grande plage dynamique et l'absence de flou de mouvement. Bien que le flux d'événements encode en principe le signal visuel complet, la reconstruction d'une image d'intensité à partir d'un flux d'événements est un problème mal posé en pratique. Les approches existantes de reconstruction reposent sur des a priori conçus manuellement et des hypothèses fortes concernant le processus d'imagerie ainsi que les statistiques des images naturelles. Dans ce travail, nous proposons d'apprendre à reconstruire des images d'intensité à partir de flux d'événements directement à partir des données, sans s'appuyer sur aucun a priori conçu manuellement. Nous proposons un nouveau réseau récurrent pour reconstruire des vidéos à partir d'un flux d'événements et nous l'entraînons sur une grande quantité de données événementielles simulées. Au cours de l'entraînement, nous proposons d'utiliser une perte perceptuelle pour encourager les reconstructions à suivre les statistiques des images naturelles. Nous étendons également notre approche pour synthétiser des images couleur à partir de flux d'événements couleur. Notre réseau dépasse largement les méthodes de reconstruction les plus avancées en termes de qualité d'image (> 20 %), tout en fonctionnant confortablement en temps réel. Nous montrons que le réseau est capable de synthétiser des vidéos à haut taux de rafraîchissement (> 5 000 images par seconde) de phénomènes rapides (par exemple, une balle frappant un objet) et qu'il peut fournir des reconstructions à grande plage dynamique dans des conditions lumineuses difficiles. Nous démontrons également l'efficacité de nos reconstructions comme représentation intermédiaire pour les données événementielles. Nous montrons que des algorithmes standard de vision par ordinateur peuvent être appliqués à nos reconstructions pour effectuer des tâches telles que la classification d'objets et l'odométrie visuelle-inertielle, et que cette stratégie surpasse constamment les algorithmes spécifiquement conçus pour les données événementielles.