Einfache Rekurrente Einheiten für hoch parallelisierbare Rekurrenz

Gängige rekurrente Neuronenarchitekturen skalieren schlecht aufgrund der inhärenten Schwierigkeit bei der Parallelisierung ihrer Zustandsberechnungen. In dieser Arbeit schlagen wir die Simple Recurrent Unit (SRU) vor, eine leichte rekurrente Einheit, die Modellkapazität und Skalierbarkeit ausbalanciert. Die SRU ist so konzipiert, dass sie eine ausdrucksstarke Rekurrenz bietet, eine hochgradig parallelisierte Implementierung ermöglicht und mit sorgfältiger Initialisierung ausgestattet ist, um das Training tiefer Modelle zu erleichtern. Wir demonstrieren die Effektivität der SRU an mehreren NLP-Aufgaben. Die SRU erreicht ein 5- bis 9-faches Geschwindigkeitsplus im Vergleich zu cuDNN-optimierten LSTMs auf Klassifikations- und Fragebeantwortungsdatensätzen und liefert bessere Ergebnisse als LSTMs und Faltungsmodelle. Durch die Integration von SRUs in die Architektur erzielen wir zudem durchschnittlich eine Verbesserung von 0,7 BLEU-Punkten im Vergleich zum Transformer-Modell bei Übersetzungen.