HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage continu de traitements dépendants du contexte dans les réseaux neuronaux

Guanxiong Zeng; Yang Chen; Bo Cui; Shan Yu

Résumé

Les réseaux de neurones profonds (DNNs) sont des outils puissants pour apprendre des règles de correspondance sophistiquées mais fixes entre les entrées et les sorties, ce qui limite leur application dans des situations plus complexes et dynamiques où ces règles ne restent pas constantes mais évoluent selon différents contextes. Pour lever ces limitations, nous avons développé une nouvelle approche impliquant un algorithme d'apprentissage appelé modification de poids orthogonaux (OWM), complété par un module de traitement dépendant du contexte (CDP). Nous avons démontré que, grâce à l'OWM pour surmonter le problème de l'oubli catastrophique et au module CDP pour apprendre comment réutiliser une représentation de caractéristiques et un classifieur dans différents contextes, un seul réseau peut acquérir de nombreuses règles de correspondance dépendantes du contexte de manière en ligne et continue, avec aussi peu que \sim10 échantillons pour apprendre chacune. Cela devrait permettre aux systèmes très compacts d'apprendre progressivement les multiples régularités du monde réel et finalement d'y se comporter de manière appropriée.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp