Une approche de sélection de chemins aléatoires adaptative pour l'apprentissage incrémentiel

Dans un cadre de apprentissage supervisé conventionnel, un modèle d'apprentissage automatique a accès à des exemples de toutes les classes d'objets qu'il est souhaité reconnaître lors de l'étape d'inférence. Cela entraîne la création d'un modèle fixe qui manque de flexibilité pour s'adapter à de nouvelles tâches d'apprentissage. Dans les configurations pratiques, les tâches d'apprentissage arrivent généralement en séquence et les modèles doivent apprendre continuellement pour augmenter leurs connaissances précédemment acquises. Les approches actuelles d'apprentissage incrémentiel sont bien en dessous des modèles cumulatifs de pointe qui utilisent toutes les classes d'entraînement simultanément. Dans cet article, nous proposons un algorithme de sélection de chemins aléatoires, appelé Adaptive RPS-Net (Random Path Selection Network), qui choisit progressivement des chemins optimaux pour les nouvelles tâches tout en encourageant le partage de paramètres entre les tâches. Nous introduisons une nouvelle mesure de capacité du réseau qui nous permet de basculer automatiquement vers de nouveaux chemins si les ressources déjà utilisées sont saturées. Comme la stratégie proposée de réutilisation des chemins garantit le transfert des connaissances antérieures, notre approche est efficace et présente une charge de calcul considérablement moindre. En nouveauté supplémentaire, le modèle proposé intègre la distillation des connaissances et la rétrospection en plus de la stratégie de sélection des chemins pour surmonter l'oubli catastrophique. Pour maintenir un équilibre entre les connaissances antérieures et celles nouvellement acquises, nous proposons un contrôleur simple pour équilibrer dynamiquement la plasticité du modèle. À travers des expériences exhaustives, nous démontrons que la méthode Adaptive RPS-Net dépasse les performances actuelles dans le domaine de l'apprentissage incrémentiel et que, grâce au calcul parallèle, cette méthode peut fonctionner en temps constant avec une efficacité presque équivalente à celle d'un réseau neuronal convolutif profond conventionnel.