HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Sélection aléatoire de chemin pour l'apprentissage continu

{Jathushan Rajasegaran Fahad Shahbaz Khan Salman H. Khan Munawar Hayat Ling Shao}

Sélection aléatoire de chemin pour l'apprentissage continu

Résumé

L'apprentissage incrémental en vieillissement continu constitue un défi majeur en vue de réaliser l'objectif à long terme de l'Intelligence Artificielle Générale. Dans les environnements réels, les tâches d'apprentissage arrivent séquentiellement, et les modèles d'apprentissage automatique doivent apprendre continuellement tout en intégrant progressivement les connaissances déjà acquises. Les approches actuelles d'apprentissage incrémental se situent nettement en dessous des modèles cumulatifs de pointe, qui utilisent toutes les classes d'entraînement simultanément. Dans cet article, nous proposons un algorithme de sélection de chemin aléatoire, appelé RPS-Net, qui choisit progressivement les chemins optimaux pour les nouvelles tâches tout en favorisant le partage et la réutilisation des paramètres. Notre approche évite les surcharges liées aux stratégies de sélection de chemin coûteuses en calcul, basées sur l'apprentissage évolutif ou par renforcement, tout en obtenant des gains de performance significatifs. En outre, le modèle proposé intègre de manière originale la distillation de connaissances et une rétrospection au sein de la stratégie de sélection de chemin afin de contrer le phénomène d'oubli catastrophique. Pour maintenir un équilibre entre les connaissances antérieures et les nouvelles, nous proposons un contrôleur simple permettant de réguler dynamiquement la plasticité du modèle. À travers des expérimentations étendues, nous démontrons que la méthode proposée surpasser les performances actuelles de l'état de l'art en apprentissage incrémental, et qu'en exploitant le calcul parallèle, cette méthode peut s'exécuter en temps constant, avec une efficacité quasi équivalente à celle d'un réseau neuronal convolutif profond classique.

Benchmarks

BenchmarkMéthodologieMétriques
continual-learning-on-f-celeba-10-tasksRPSNet
Acc: 0.5545

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Sélection aléatoire de chemin pour l'apprentissage continu | Articles de recherche | HyperAI