HyperAIHyperAI

Command Palette

Search for a command to run...

Skalierung von neuronalen Netzen mit erweitertem Speicher durch spärliche Lese- und Schreibvorgänge

J. Doe A. Smith

Zusammenfassung

Neuronale Netze, die mit externem Speicher erweitert wurden, haben die Fähigkeit, algorithmische Lösungen für komplexe Aufgaben zu lernen. Diese Modelle erscheinen vielversprechend für Anwendungen wie Sprachmodellierung und maschinelle Übersetzung. Allerdings skalieren sie bei zunehmendem Speicheraufwand sowohl räumlich als auch zeitlich schlecht – was ihre Anwendbarkeit in realen Domänen einschränkt. In diesem Beitrag stellen wir ein von Ende zu Ende differenzierbares Speicherzugriffsschema vor, das wir Sparse Access Memory (SAM) nennen. SAM behält die repräsentative Leistungsfähigkeit der ursprünglichen Ansätze bei und trainiert effizient mit sehr großen Speichern. Wir zeigen, dass SAM asymptotisch untere Schranken in Bezug auf den Komplexitätsraum und die Zeit erreicht, und feststellen, dass eine Implementierung 10001\,0001000-mal schneller läuft und 30003\,0003000-mal weniger physischen Speicher benötigt als nicht-sparse Modelle. SAM lernt mit vergleichbarer Dateneffizienz wie bestehende Modelle bei einer Reihe synthetischer Aufgaben und beim One-Shot-Zeichenerkennungstest von Omniglot und kann sich auf Aufgaben skalieren, die Tausende von Zeitschritten und Speichern erfordern. Darüber hinaus zeigen wir, wie unser Ansatz für Modelle angepasst werden kann, die temporale Assoziationen zwischen Speichern aufrechterhalten, wie es beim kürzlich eingeführten Differentiable Neural Computer der Fall ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp