Réseau neuronal récurrent oscillatoire couplé (coRNN) : Une architecture précise et (gradient) stable pour l'apprentissage de dépendances à long terme

Les circuits de neurones biologiques, tels que ceux présents dans les parties fonctionnelles du cerveau, peuvent être modélisés comme des réseaux d'oscillateurs couplés. Inspirés par la capacité de ces systèmes à exprimer un ensemble riche de sorties tout en maintenant les variables d'état (et leurs gradients) bornées, nous proposons une nouvelle architecture pour les réseaux de neurones récurrents (RNN). Notre RNN proposé est basé sur une discrétisation temporelle d'un système d'équations différentielles ordinaires du second ordre, modélisant des réseaux d'oscillateurs non linéaires contrôlés. Nous démontrons des bornes précises sur les gradients des états cachés, ce qui permet de réduire le problème des gradients explosifs et disparaissants pour ce RNN. Les expériences montrent que le RNN proposé est comparable aux méthodes de pointe sur divers jeux de données de référence, démontrant ainsi le potentiel de cette architecture à fournir des RNN stables et précis pour le traitement de données séquentielles complexes.