Rekurrentes Neuronales Netzwerk Regularisierung

Wir präsentieren eine einfache Regularisierungstechnik für Rekurrente Neuronale Netze (RNNs) mit Long Short-Term Memory (LSTM)-Einheiten. Dropout, die erfolgreichste Technik zur Regularisierung von neuronalen Netzen, funktioniert bei RNNs und LSTMs nicht gut. In dieser Arbeit zeigen wir, wie Dropout korrekt auf LSTMs angewendet werden kann, und demonstrieren, dass es das Overfitting bei einer Vielzahl von Aufgaben erheblich reduziert. Diese Aufgaben umfassen Sprachmodelle, Spracherkennung, Bildunterschriftenerstellung und maschinelle Übersetzung.