Mémoire Bidirectionnelle À Long Et Court Terme/bi-lstm

définition

Les réseaux neuronaux profonds ont démontré des résultats supérieurs dans de nombreux domaines tels que la reconnaissance vocale, le traitement d’images et le traitement du langage naturel. En tant que variante de RNN, LSTM peut apprendre les dépendances à long terme dans les données par rapport à RNN.

En 2005, Graves a proposé de combiner LSTM et BRNN pour former BLSTM. Comparé au BRNN, le BLSTM peut mieux gérer les problèmes de disparition et d’explosion du gradient. En 2013, Graves a proposé le BLSTM profond, qui peut mieux extraire et représenter les fonctionnalités, et l'effet est également supérieur au BLSTM.

Analyse du développement

goulot

Contrairement au CNN, les réseaux de séries chronologiques tels que LSTM sont difficiles à traiter en parallèle et donc difficiles à accélérer à l'aide de GPU. De plus, les RNN et les LSTM avec leurs nœuds de reconnaissance récurrents et de mémoire intégrés seront de moins en moins utilisés et ne seront plus compétitifs avec les solutions basées sur les CNN, car les architectures parallèles surpassent les architectures séquentielles.

Orientation du développement futur

BLSTM a de nombreuses directions de développement :

• Les portes d’entrée et de sortie du LSTM et de sa variante BLSTM seront probablement remplacées par des mémoires auxiliaires différentiables ;

• Réseaux neuronaux plus complexes, tels qu'une combinaison de différents réseaux neuronaux (BLSTM+CNN).