HyperAIHyperAI

Command Palette

Search for a command to run...

Relationale rekurrente Neuronale Netze

Adam Santoro*α, Ryan Faulkner*α, David Raposo*α, Jack Raeαβ, Mike Chrzanowskiα, Théophane Weberα, Daan Wierstraα, Oriol Vinyalsα, Razvan Pascanuα, Timothy Lillicrapαβ

Zusammenfassung

Speicherbasierte neuronale Netze modellieren zeitliche Daten durch die Nutzung ihrer Fähigkeit, Informationen über längere Zeiträume zu speichern. Es ist jedoch unklar, ob sie auch in der Lage sind, komplexe relationale Schlussfolgerungen mit den gespeicherten Informationen zu ziehen. In dieser Arbeit bestätigen wir zunächst unsere Intuitionen, dass Standard-Speicherarchitekturen bei Aufgaben, die ein tiefes Verständnis der Weise erfordern, wie Entitäten miteinander verbunden sind – also bei Aufgaben, die relationales Denken erfordern – Schwierigkeiten haben könnten. Anschließend verbessern wir diese Mängel durch die Verwendung eines neuen Speichermoduls – einem \textit{Relationellen Speicherkern} (RMC) – das Multi-Head-Dot-Product-Aufmerksamkeit einsetzt, um Interaktionen zwischen den Erinnerungen zu ermöglichen. Schließlich testen wir den RMC an einer Reihe von Aufgaben, die von einer leistungsfähigeren relationalen Schlussfolgerung über sequenzielle Informationen profitieren könnten, und zeigen dabei große Verbesserungen in Reinforcement-Learning-Bereichen (z.B. Mini PacMan), Programmierungsbewertung und Sprachmodellierung. Wir erreichen dabei Stand-of-the-Art-Ergebnisse auf den Datensätzen WikiText-103, Project Gutenberg und GigaWord.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp