Mécanismes indépendants récurrents

Apprendre des structures modulaires qui reflètent la dynamique de l’environnement peut conduire à une meilleure généralisation et une plus grande robustesse aux changements affectant uniquement quelques-unes des causes sous-jacentes. Nous proposons les Mécanismes Indépendants Récurrents (RIMs), une nouvelle architecture récurrente dans laquelle plusieurs groupes de cellules récurrentes évoluent selon des dynamiques de transition presque indépendantes, ne communiquent qu’occasionnellement via un goulot d’étranglement d’attention, et ne sont mises à jour qu’aux instants où elles sont le plus pertinentes. Nous montrons que cela favorise une spécialisation parmi les RIMs, ce qui permet une amélioration marquée de la généralisation sur des tâches où certains facteurs de variation diffèrent de manière systématique entre l’apprentissage et l’évaluation.