HyperAIHyperAI

Command Palette

Search for a command to run...

Apprendre à Se souvenir : Un Cadre de Apprentissage Continu Guidé par la Plasticité Synaptique

Oleksiy Ostapenko Mihai Puscas Tassilo Klein Patrick Jähnichen Moin Nabi

Résumé

Les modèles formés dans le contexte de l'apprentissage continu (CL) devraient être capables d'apprendre à partir d'un flux de données sur une période indéfinie. Les principaux défis sont : 1) maintenir les connaissances anciennes tout en en bénéficiant lors de l'apprentissage de nouvelles tâches, et 2) garantir la scalabilité du modèle avec une quantité croissante de données à apprendre. Pour relever ces défis, nous introduisons la Mémoire Générative Dynamique (DGM) - un cadre d'apprentissage continu basé sur la plasticité synaptique. La DGM s'appuie sur des réseaux adversariaux génératifs conditionnels avec une plasticité des connexions apprenable réalisée par le masquage neuronal. Plus précisément, nous évaluons deux variantes de masquage neuronal : appliquées à (i) les activations de couche et (ii) directement aux poids des connexions. De plus, nous proposons un mécanisme d'expansion dynamique du réseau qui assure une capacité suffisante du modèle pour accueillir les tâches arrivant continuellement. La quantité de capacité ajoutée est déterminée dynamiquement à partir du masque binaire appris. Nous évaluons la DGM dans le cadre d'apprentissage continu par augmentation progressive des classes sur des tâches de classification visuelle.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp