Skalierung von neuronalen Netzen mit erweitertem Speicher durch spärliche Lese- und Schreibvorgänge

Neuronale Netze, die mit externem Speicher erweitert wurden, haben die Fähigkeit, algorithmische Lösungen für komplexe Aufgaben zu lernen. Diese Modelle erscheinen vielversprechend für Anwendungen wie Sprachmodellierung und maschinelle Übersetzung. Allerdings skalieren sie bei zunehmendem Speicheraufwand sowohl räumlich als auch zeitlich schlecht – was ihre Anwendbarkeit in realen Domänen einschränkt. In diesem Beitrag stellen wir ein von Ende zu Ende differenzierbares Speicherzugriffsschema vor, das wir Sparse Access Memory (SAM) nennen. SAM behält die repräsentative Leistungsfähigkeit der ursprünglichen Ansätze bei und trainiert effizient mit sehr großen Speichern. Wir zeigen, dass SAM asymptotisch untere Schranken in Bezug auf den Komplexitätsraum und die Zeit erreicht, und feststellen, dass eine Implementierung $1\,000$-mal schneller läuft und $3\,000$-mal weniger physischen Speicher benötigt als nicht-sparse Modelle. SAM lernt mit vergleichbarer Dateneffizienz wie bestehende Modelle bei einer Reihe synthetischer Aufgaben und beim One-Shot-Zeichenerkennungstest von Omniglot und kann sich auf Aufgaben skalieren, die Tausende von Zeitschritten und Speichern erfordern. Darüber hinaus zeigen wir, wie unser Ansatz für Modelle angepasst werden kann, die temporale Assoziationen zwischen Speichern aufrechterhalten, wie es beim kürzlich eingeführten Differentiable Neural Computer der Fall ist.