HyperAIHyperAI

Command Palette

Search for a command to run...

Selbst-attentive assoziative Speicher

Hung Le Truyen Tran Svetha Venkatesh

Zusammenfassung

Bisher sind neuronale Netzwerke mit externem Speicher auf einen einzelnen Speicher mit verlustbehafteten Darstellungen der Speicherinteraktionen beschränkt. Eine reichhaltige Repräsentation der Beziehungen zwischen Speicherstellen erfordert einen hochgradigen und getrennten relationalen Speicher. In diesem Artikel schlagen wir vor, die Speicherung individueller Erfahrungen (Item-Speicher) und ihrer auftretenden Beziehungen (relationale Speicher) zu trennen. Diese Idee wird durch einen neuartigen Self-attentiven Assoziativen Speicher (SAM)-Operator realisiert. Aufbauend auf dem äußeren Produkt bildet SAM eine Menge assoziativer Speicher, die hypothetische hochgradige Beziehungen zwischen beliebigen Paaren von Speicherelementen repräsentieren, wodurch aus einem Item-Speicher ein relationaler Speicher konstruiert wird. Beide Speicher werden in ein einziges sequentielles Modell integriert, das sowohl Memorisation als auch relationales Schließen ermöglicht. Wir erzielen wettbewerbsfähige Ergebnisse mit unserem vorgeschlagenen Zweispeicher-Modell in einer Vielzahl von maschinellen Lernaufgaben – von anspruchsvollen synthetischen Problemen bis hin zu praktischen Testumgebungen wie Geometrie, Graphen, Verstärkendem Lernen und Fragebeantwortung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp