Definition des rekurrierenden neuronalen Netzwerks

Man kann sich rekurrierende neuronale Netzwerke so vorstellen, dass sie Muster in Zeitreihendaten finden und diese zur Vorhersage der Zukunft verwenden. Für die Neuroneneingabe sind nicht nur die Daten zum aktuellen Zeitpunkt erforderlich, sondern auch die Ausgabeergebnisse zum vorherigen Zeitpunkt. Das Neuron gibt die Ausgabeergebnisse an das Eingabeende zurück und so weiter. In der Zeitdimension wird es wie in der folgenden Abbildung dargestellt erweitert:

Derzeit werden rekurrierende neuronale Netzwerke häufig in der natürlichen Sprachverarbeitung eingesetzt, hauptsächlich zur Spracherkennung und für Sprachmodelle. Unter ihnen ist die Handschrifterkennung das früheste Forschungsergebnis, bei dem RNN erfolgreich eingesetzt wurde.

Eigenschaften rekurrierender neuronaler Netze

Recurrent Neural Networks (RNN) basieren auf dem Konzept einer gerichteten Schleife, mit der sich das Problem der Verbindung zwischen Eingaben lösen lässt. Die Struktur der gerichteten Schleife ist in der folgenden Abbildung dargestellt:

Im Vergleich zum Feedforward-Neuralnetzwerk FNN entspricht das rekurrierende Neuralnetzwerk eher der Struktur biologischer Neuralnetzwerke.

Anwendungen rekurrierender neuronaler Netze

Im Bereich der Verarbeitung natürlicher Sprache, beispielsweise bei Wortvektorausdrücken, der Prüfung der Satzgültigkeit, der Wortmarkierung usw., sind rekurrierende neuronale Netze erfolgreich. Das am weitesten verbreitete Modell ist das LSTM-Modell (Long Short-Term Memory). Derzeit werden rekurrierende neuronale Netze hauptsächlich in folgenden Bereichen eingesetzt:

• Sprachmodellierung und Textgenerierung
• Maschinelle Übersetzung
• Spracherkennung
• Bildbeschreibungen generieren

Referenzlinks:

1.https://zh.wikipedia.org/wiki/Rekurrente neuronale Netze

2.https://www.jianshu.com/p/540946052325