Systèmes neuronaux efficaces pour la vision basés sur l'acquisition d'images convolutionnelles

Malgré les progrès considérables réalisés récemment dans le domaine du deep learning, les approches avancées restent encore très exigeantes en termes de calcul. Le compromis entre précision, temps de calcul et consommation énergétique limite leur déploiement dans des applications en temps réel sur des systèmes à faible consommation ou à ressources limitées. Dans cet article, nous abordons ce défi fondamental en proposant une implémentation hybride optique-numérique d’un réseau de neurones convolutif (CNN), basée sur l’ingénierie de la fonction de réponse impulsionnelle ponctuelle (PSF) d’un système d’imagerie optique. Cette approche consiste à coder une ouverture d’imagerie de manière à ce que sa PSF reproduise un grand noyau de convolution correspondant à la première couche d’un CNN pré-entraîné. Étant donné que la convolution s’effectue dans le domaine optique, elle ne consomme aucune énergie et présente une latence nulle, indépendamment de la taille du noyau. Les résultats expérimentaux obtenus sur deux jeux de données montrent que notre méthode permet de réduire le coût computationnel de plus de deux ordres de grandeur tout en atteignant une précision proche de l’état de l’art, ou, de manière équivalente, une meilleure précision pour un coût computationnel identique.