Détection d'objets avec des réseaux de neurones à impulsions sur des données événementielles automobiles

Les algorithmes embarqués dans l’automobile sont soumis à des contraintes très strictes en matière de latence, d’exactitude et de consommation énergétique. Dans ce travail, nous proposons d’entraîner directement des réseaux de neurones à déclenchement (SNNs, spiking neural networks) à partir de données issues de caméras à événements afin de concevoir des applications embarquées automobiles rapides et efficaces. En effet, les SNNs constituent des réseaux neuronaux plus réalistes du point de vue biologique, dans lesquels les neurones communiquent par l’intermédiaire d’impulsions discrètes et asynchrones, un mode de fonctionnement naturellement économe en énergie et adapté aux architectures matérielles. Les données à événements, qui sont binaires et éparse dans l’espace comme dans le temps, représentent donc l’entrée idéale pour les SNNs. Toutefois, jusqu’à présent, leur performance était insuffisante pour résoudre des problèmes réels du domaine automobile, tels que la détection d’objets complexes dans un environnement non contrôlé. Pour surmonter cette limitation, nous avons tiré parti des dernières avancées en matière de rétropropagation des signaux dans les SNNs — notamment l’apprentissage par gradient approximé (surrogate gradient learning), les modèles LIF paramétriques, ainsi que le cadre logiciel SpikingJelly — ainsi que de notre nouvelle méthode d’encodage événementiel appelée voxel cube. Grâce à ces outils, nous avons entraîné quatre SNNs différents basés sur des architectures de réseaux de neurones profonds populaires : SqueezeNet, VGG, MobileNet et DenseNet. En conséquence, nous avons réussi à augmenter significativement la taille et la complexité des SNNs habituellement considérées dans la littérature. Dans cet article, nous avons mené des expériences sur deux jeux de données événementielles automobiles, établissant ainsi de nouveaux états de l’art en classification pour les réseaux de neurones à déclenchement. Sur la base de ces résultats, nous avons combiné nos SNNs avec l’architecture SSD afin de proposer le premier système basé sur des réseaux de neurones à déclenchement capable de réaliser une détection d’objets sur le jeu de données complexe GEN1 Automotive Detection.