Une base à gradient de surrogat pour la reconnaissance de commandes vocales

Les réseaux de neurones artificiels (RNNs) constituent la base des progrès récents en intelligence artificielle (IA) ; ils utilisent généralement des réponses neuronales à valeurs réelles. À l’inverse, les neurones biologiques sont connus pour fonctionner à l’aide de trains d’impulsions. En théorie, les réseaux de neurones à impulsions (SNNs) pourraient offrir une capacité de représentation supérieure aux RNNs, notamment pour les séries temporelles telles que la parole ; toutefois, leur adoption a été freinée à la fois par le manque d’algorithmes d’apprentissage stables et par l’absence de référentiels compatibles. Nous commençons par une revue assez exhaustive de la littérature sur la combinaison entre RNNs et SNNs. En nous concentrant sur les approches basées sur les gradients fantômes, nous proposons ensuite une évaluation simple mais pertinente, fondée sur des tâches récentes de reconnaissance de commandes vocales. Après avoir évalué une sélection représentative d’architectures, nous montrons qu’une combinaison d’adaptation, de récurrence et de gradients fantômes peut produire des architectures à impulsions légères capables non seulement de rivaliser avec les solutions basées sur les RNNs, mais aussi de maintenir un haut degré de compatibilité avec celles-ci dans les cadres modernes d’apprentissage profond. Nous concluons de manière concrète que les SNNs sont adaptés aux recherches futures en IA, en particulier pour les applications de traitement de la parole, et, de manière plus spéculative, qu’ils pourraient également contribuer à l’inférence sur les fonctions biologiques.