Retine : Suivi oculaire à faible consommation énergétique avec caméra événementielle et matériel à impulsions

Ce document présente une méthodologie néuromorphique pour le suivi oculaire, en utilisant des données d'événements pures capturées par une caméra de capteur de vision dynamique (DVS). Le cadre intégratif comprend un modèle de régression basé sur un réseau de neurones à impulsions (SNN) formé directement et exploite un processeur néuromorphique à faible puissance de pointe - Speck, dans le but collectif d'améliorer la précision et l'efficacité des systèmes de suivi oculaire. Tout d'abord, nous présentons un ensemble de données représentatif pour le suivi oculaire basé sur les événements, « Ini-30 », qui a été recueilli à l'aide de deux caméras DVS montées sur des lunettes auprès de trente volontaires. Ensuite, est décrit un modèle SNN, basé sur des neurones Integrate And Fire (IAF), nommé « Retina », qui ne compte que 64 k paramètres (6,63 fois moins que les modèles les plus récents) et atteint une erreur de suivi pupillaire de seulement 3,24 pixels dans une entrée DVS de 64x64. La sortie continue de régression est obtenue par convolution à l'aide d'un filtre temporel 1D non impulsif glissé sur la couche impulsive de sortie. Enfin, nous évaluons Retina sur le processeur néuromorphique, montrant une consommation électrique globale comprise entre 2,89 et 4,8 mW et une latence variant entre 5,57 et 8,01 ms selon la fenêtre temporelle. Nous comparons également notre modèle à la méthode la plus récente de suivi oculaire basée sur les événements, « 3ET », qui repose sur des trames d'événements. Les résultats démontrent que Retina offre une précision supérieure avec une erreur du centroïde pupillaire inférieure de 1,24 px et une complexité computationnelle réduite avec 35 fois moins d'opérations MAC. Nous espérons que ce travail ouvrira des voies pour des investigations ultérieures sur les solutions néuromorphiques en boucle fermée et l'entraînement véritablement basé sur les événements visant les performances en périphérie.