HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen assoziativer Inferenz mittels schneller Gewichtsspeicher

Imanol Schlag Tsendsuren Munkhdalai Jürgen Schmidhuber

Zusammenfassung

Menschen können Reize schnell verknüpfen, um Probleme in neuen Kontexten zu lösen. Unser neuartiges neuronales Netzwerkmodell lernt Zustandsdarstellungen von Fakten, die zusammengesetzt werden können, um solche assoziativen Schlussfolgerungen zu ziehen. Dazu erweitern wir das LSTM-Modell um eine assoziative Speicherstruktur, die als Fast Weight Memory (FWM) bezeichnet wird. Durch differenzierbare Operationen in jedem Schritt einer gegebenen Eingabesequenz aktualisiert und erhält das LSTM die zusammensetzenden Assoziationen, die in den rasch veränderlichen FWM-Gewichten gespeichert sind. Unser Modell wird end-to-end mittels Gradientenabstieg trainiert und erzielt hervorragende Leistungen bei kompositionalen Sprachschlussfolgerungsproblemen, Meta-Reinforcement-Learning für POMDPs sowie kleinskaliger, wortbasierter Sprachmodellierung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen assoziativer Inferenz mittels schneller Gewichtsspeicher | Paper | HyperAI