HyperAIHyperAI

Command Palette

Search for a command to run...

Machine de Turing neuronale dynamique avec des schémas d'adressage doux et dur

Caglar Gulcehre Sarath Chandar Kyunghyun Cho Yoshua Bengio

Résumé

Nous étendons le modèle de machine de Turing neuronale (MTN) en une machine de Turing neuronale dynamique (D-MTN) en introduisant un schéma d'adressage de mémoire entraînable. Ce schéma d'adressage maintient pour chaque cellule de mémoire deux vecteurs distincts, les vecteurs de contenu et d'adresse. Cela permet à la D-MTN d'apprendre une large gamme de stratégies d'adressage basées sur l'emplacement, y compris des stratégies linéaires et non linéaires. Nous implémentons la D-MTN avec des mécanismes de lecture/écriture à la fois continus, différentiables et discrets, non différentiables. Nous examinons les mécanismes et les effets de l'apprentissage pour lire et écrire dans une mémoire par le biais d'expériences sur les tâches Facebook bAbI, utilisant à la fois un contrôleur à alimentation directe et un contrôleur GRU. La D-MTN est évaluée sur un ensemble de tâches Facebook bAbI et est montrée comme surpassant les modèles de référence MTN et LSTM. Nous avons effectué une analyse approfondie de notre modèle ainsi que des différentes variations de MTN sur la tâche bAbI. Nous fournissons également des résultats expérimentaux supplémentaires sur pMNIST séquentiel, l'inférence linguistique naturelle Stanford, la réminiscence associative et les tâches de copie.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp