Bidirektionales Langzeit-Kurzzeitgedächtnis/Bi-LSTM

Definition

Tiefe neuronale Netzwerke haben in vielen Bereichen wie Spracherkennung, Bildverarbeitung und natürlicher Sprachverarbeitung hervorragende Ergebnisse gezeigt. Als Variante von RNN kann LSTM im Vergleich zu RNN langfristige Abhängigkeiten in Daten lernen.

Im Jahr 2005 schlug Graves vor, LSTM und BRNN zu BLSTM zu kombinieren. Im Vergleich zu BRNN kann BLSTM die Probleme des Gradientenverschwindens und der Gradientenexplosion besser bewältigen. Im Jahr 2013 schlug Graves Deep BLSTM vor, das Merkmale besser extrahieren und darstellen kann und auch in der Wirkung BLSTM überlegen ist.

Entwicklungsanalyse

Engpass

Im Gegensatz zu CNN lassen sich Zeitreihennetzwerke wie LSTM nur schwer parallel verarbeiten und daher mit GPUs nur schwer beschleunigen. Darüber hinaus werden RNNs und LSTMs mit ihrer rekurrierenden Erkennung und ihren eingebetteten Speicherknoten immer weniger genutzt und können mit CNN-basierten Lösungen nicht mehr mithalten, da parallele Architekturen sequentielle Architekturen übertreffen.

Zukünftige Entwicklungsrichtung

BLSTM hat viele Entwicklungsrichtungen:

• Die Eingangs- und Ausgangsgatter von LSTM und seiner Variante BLSTM werden wahrscheinlich durch zusätzliche differenzierbare Speicher ersetzt;

• Komplexere neuronale Netzwerke, beispielsweise eine Kombination verschiedener neuronaler Netzwerke (BLSTM+CNN).