Sélection aléatoire de chemin pour l'apprentissage continu

L'apprentissage incrémental en vieillissement continu constitue un défi majeur en vue de réaliser l'objectif à long terme de l'Intelligence Artificielle Générale. Dans les environnements réels, les tâches d'apprentissage arrivent séquentiellement, et les modèles d'apprentissage automatique doivent apprendre continuellement tout en intégrant progressivement les connaissances déjà acquises. Les approches actuelles d'apprentissage incrémental se situent nettement en dessous des modèles cumulatifs de pointe, qui utilisent toutes les classes d'entraînement simultanément. Dans cet article, nous proposons un algorithme de sélection de chemin aléatoire, appelé RPS-Net, qui choisit progressivement les chemins optimaux pour les nouvelles tâches tout en favorisant le partage et la réutilisation des paramètres. Notre approche évite les surcharges liées aux stratégies de sélection de chemin coûteuses en calcul, basées sur l'apprentissage évolutif ou par renforcement, tout en obtenant des gains de performance significatifs. En outre, le modèle proposé intègre de manière originale la distillation de connaissances et une rétrospection au sein de la stratégie de sélection de chemin afin de contrer le phénomène d'oubli catastrophique. Pour maintenir un équilibre entre les connaissances antérieures et les nouvelles, nous proposons un contrôleur simple permettant de réguler dynamiquement la plasticité du modèle. À travers des expérimentations étendues, nous démontrons que la méthode proposée surpasser les performances actuelles de l'état de l'art en apprentissage incrémental, et qu'en exploitant le calcul parallèle, cette méthode peut s'exécuter en temps constant, avec une efficacité quasi équivalente à celle d'un réseau neuronal convolutif profond classique.