双方向長短期メモリ/Bi-LSTM

意味

ディープ ニューラル ネットワークは、音声認識、画像処理、自然言語処理など、さまざまな分野で優れた結果を示しています。RNN の一種である LSTM は、RNN と比較してデータの長期的な依存関係を学習できます。

2005 年に、Graves は LSTM と BRNN を組み合わせて BLSTM になることを提案しました。BRNN と比較して、BLSTM は勾配の消失と爆発の問題をより適切に処理できるディープ BLSTM を提案しました。特徴を抽出して表現しており、BLSTMよりも優れた効果を発揮します。

開発分析

ボトルネック

CNN とは異なり、LSTM などのタイミング関連のネットワークは並列化が難しいため、GPU を使用して高速化することが困難です。さらに、ループ識別と組み込みメモリ ノードを備えた RNN と LSTM は、並列アーキテクチャが逐次アーキテクチャよりも優れているため、CNN ベースのソリューションとの競争力がますます低下します。

今後の開発の方向性

BLSTM には多くの開発方向があります。

• LSTM やそのバリアント BLSTM などの入出力ゲートは、補助微分可能メモリで置き換えることができます。

• さまざまなニューラル ネットワークの組み合わせ (BLSTM+CNN) など、より複雑なニューラル ネットワーク。