Machine de Turing neuronale dynamique avec des schémas d'adressage doux et dur

Nous étendons le modèle de machine de Turing neuronale (MTN) en une machine de Turing neuronale dynamique (D-MTN) en introduisant un schéma d'adressage de mémoire entraînable. Ce schéma d'adressage maintient pour chaque cellule de mémoire deux vecteurs distincts, les vecteurs de contenu et d'adresse. Cela permet à la D-MTN d'apprendre une large gamme de stratégies d'adressage basées sur l'emplacement, y compris des stratégies linéaires et non linéaires. Nous implémentons la D-MTN avec des mécanismes de lecture/écriture à la fois continus, différentiables et discrets, non différentiables. Nous examinons les mécanismes et les effets de l'apprentissage pour lire et écrire dans une mémoire par le biais d'expériences sur les tâches Facebook bAbI, utilisant à la fois un contrôleur à alimentation directe et un contrôleur GRU. La D-MTN est évaluée sur un ensemble de tâches Facebook bAbI et est montrée comme surpassant les modèles de référence MTN et LSTM. Nous avons effectué une analyse approfondie de notre modèle ainsi que des différentes variations de MTN sur la tâche bAbI. Nous fournissons également des résultats expérimentaux supplémentaires sur pMNIST séquentiel, l'inférence linguistique naturelle Stanford, la réminiscence associative et les tâches de copie.