HyperAIHyperAI

Command Palette

Search for a command to run...

Schnell-Langsam-Rekurrente Neuronale Netze

Asier Mujika Florian Meier Angelika Steger

Zusammenfassung

Die Verarbeitung sequentieller Daten variabler Länge stellt eine große Herausforderung in einer Vielzahl von Anwendungen dar, wie z.B. Spracherkennung, Sprachmodellierung, generative Bildmodellierung und maschinelle Übersetzung. In dieser Arbeit adressieren wir diese Herausforderung durch den Vorschlag einer neuen rekurrenten Neuronalen Netzwerkarchitektur, dem Fast-Slow RNN (FS-RNN). Das FS-RNN kombiniert die Stärken sowohl von mehrskaligen RNNs als auch von tiefen Transitions-RNNs, da es sequentielle Daten auf verschiedenen Zeitskalen verarbeitet und komplexe Übergangsfunktionen von einem Zeitpunkt zum nächsten lernt. Wir evaluieren das FS-RNN anhand zweier Datensätze für die Modellierung auf Charakterebene, nämlich der Penn Treebank und des Hutter Prize Wikipedia, wo wir die Stand der Technik Ergebnisse verbessern können auf 1,191{,}191,19 und 1,251{,}251,25 Bits pro Zeichen (BPC), jeweils. Zudem erreicht ein Ensemble aus zwei FS-RNNs einen Wert von 1,201{,}201,20 BPC beim Hutter Prize Wikipedia-Datensatz, was den besten bekannten Kompressionsalgorithmus hinsichtlich der BPC-Metrik übertrifft. Wir präsentieren außerdem eine empirische Untersuchung der Lern- und Netzwerkdynamik des FS-RNNs, die die verbesserte Leistung im Vergleich zu anderen RNN-Architekturen erklärt. Unser Ansatz ist allgemein, da jede Art von RNN-Zelle als möglicher Baustein für die Architektur des FS-RNN verwendet werden kann und daher flexibel auf verschiedene Aufgaben angewendet werden kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Schnell-Langsam-Rekurrente Neuronale Netze | Paper | HyperAI