Command Palette
Search for a command to run...
Lernen assoziativer Inferenz mittels schneller Gewichtsspeicher
Lernen assoziativer Inferenz mittels schneller Gewichtsspeicher
Imanol Schlag Tsendsuren Munkhdalai Jürgen Schmidhuber
Zusammenfassung
Menschen können Reize schnell verknüpfen, um Probleme in neuen Kontexten zu lösen. Unser neuartiges neuronales Netzwerkmodell lernt Zustandsdarstellungen von Fakten, die zusammengesetzt werden können, um solche assoziativen Schlussfolgerungen zu ziehen. Dazu erweitern wir das LSTM-Modell um eine assoziative Speicherstruktur, die als Fast Weight Memory (FWM) bezeichnet wird. Durch differenzierbare Operationen in jedem Schritt einer gegebenen Eingabesequenz aktualisiert und erhält das LSTM die zusammensetzenden Assoziationen, die in den rasch veränderlichen FWM-Gewichten gespeichert sind. Unser Modell wird end-to-end mittels Gradientenabstieg trainiert und erzielt hervorragende Leistungen bei kompositionalen Sprachschlussfolgerungsproblemen, Meta-Reinforcement-Learning für POMDPs sowie kleinskaliger, wortbasierter Sprachmodellierung.