Lernen assoziativer Inferenz mittels schneller Gewichtsspeicher

Menschen können Reize schnell verknüpfen, um Probleme in neuen Kontexten zu lösen. Unser neuartiges neuronales Netzwerkmodell lernt Zustandsdarstellungen von Fakten, die zusammengesetzt werden können, um solche assoziativen Schlussfolgerungen zu ziehen. Dazu erweitern wir das LSTM-Modell um eine assoziative Speicherstruktur, die als Fast Weight Memory (FWM) bezeichnet wird. Durch differenzierbare Operationen in jedem Schritt einer gegebenen Eingabesequenz aktualisiert und erhält das LSTM die zusammensetzenden Assoziationen, die in den rasch veränderlichen FWM-Gewichten gespeichert sind. Unser Modell wird end-to-end mittels Gradientenabstieg trainiert und erzielt hervorragende Leistungen bei kompositionalen Sprachschlussfolgerungsproblemen, Meta-Reinforcement-Learning für POMDPs sowie kleinskaliger, wortbasierter Sprachmodellierung.