Selbst-attentive assoziative Speicher

Bisher sind neuronale Netzwerke mit externem Speicher auf einen einzelnen Speicher mit verlustbehafteten Darstellungen der Speicherinteraktionen beschränkt. Eine reichhaltige Repräsentation der Beziehungen zwischen Speicherstellen erfordert einen hochgradigen und getrennten relationalen Speicher. In diesem Artikel schlagen wir vor, die Speicherung individueller Erfahrungen (Item-Speicher) und ihrer auftretenden Beziehungen (relationale Speicher) zu trennen. Diese Idee wird durch einen neuartigen Self-attentiven Assoziativen Speicher (SAM)-Operator realisiert. Aufbauend auf dem äußeren Produkt bildet SAM eine Menge assoziativer Speicher, die hypothetische hochgradige Beziehungen zwischen beliebigen Paaren von Speicherelementen repräsentieren, wodurch aus einem Item-Speicher ein relationaler Speicher konstruiert wird. Beide Speicher werden in ein einziges sequentielles Modell integriert, das sowohl Memorisation als auch relationales Schließen ermöglicht. Wir erzielen wettbewerbsfähige Ergebnisse mit unserem vorgeschlagenen Zweispeicher-Modell in einer Vielzahl von maschinellen Lernaufgaben – von anspruchsvollen synthetischen Problemen bis hin zu praktischen Testumgebungen wie Geometrie, Graphen, Verstärkendem Lernen und Fragebeantwortung.