Eine theoriebasierte Anwendung von Dropout in rekurrenten neuronalen Netzen

Rekurrente neuronale Netze (RNNs) stehen an der Spitze vieler neuer Entwicklungen im Bereich des Deep Learnings. Ein wesentlicher Nachteil dieser Modelle ist jedoch ihre Tendenz zu Überanpassung, wobei das Dropout-Verfahren bei Anwendung auf rekurrente Schichten versagt. Neuere Ergebnisse am Schnittpunkt von bayesischer Modellierung und Deep Learning bieten eine bayesische Interpretation gängiger Deep-Learning-Techniken wie Dropout. Diese Begründung des Dropouts in approximativer bayesischer Inferenz deutet auf eine Erweiterung der theoretischen Ergebnisse hin und liefert Einblicke in die Verwendung von Dropout mit RNN-Modellen. Wir wenden diese neue, auf variationsbasierter Inferenz beruhende Dropout-Technik in LSTM- und GRU-Modellen an und bewerten sie anhand von Aufgaben zur Sprachmodellierung und Stimmungsanalyse. Der neue Ansatz übertrifft bestehende Techniken und verbessert, soweit wir wissen, den aktuellen Stand der Technik bei der Sprachmodellierung mit dem Penn Treebank (Testverwirrtheit 73,4). Dies erweitert unser Arsenal an variationsbasierten Werkzeugen im Deep Learning.