HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage de l'inférence associative à l'aide de la mémoire à poids rapides

Imanol Schlag Tsendsuren Munkhdalai Jürgen Schmidhuber

Résumé

Les êtres humains peuvent associer rapidement des stimuli pour résoudre des problèmes dans des contextes nouveaux. Notre modèle de réseau de neurones original apprend des représentations d’état des faits pouvant être combinées afin d’effectuer des inférences associatives. À cette fin, nous enrichissons le modèle LSTM d’une mémoire associative, nommée Mémoire à Poids Rapides (Fast Weight Memory, FWM). Grâce à des opérations différentiables à chaque étape d’une séquence d’entrée donnée, le LSTM met à jour et maintient les associations composées stockées dans les poids de la FWM, qui évoluent rapidement. Notre modèle est entraîné de manière end-to-end par descente de gradient et obtient de très bons résultats sur des problèmes de raisonnement linguistique compositional, l’apprentissage par renforcement méta pour les POMDP, ainsi que sur un modélisation linguistique à l’échelle du mot sur de petits jeux de données.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage de l'inférence associative à l'aide de la mémoire à poids rapides | Articles | HyperAI