양방향 장단기 메모리/Bi-LSTM

정의

딥 신경망은 음성 인식, 이미지 처리, 자연어 처리 등 여러 분야에서 뛰어난 성과를 보였습니다. LSTM은 RNN의 변형으로, RNN에 비해 데이터의 장기 종속성을 학습할 수 있습니다.

2005년에 그레이브스는 LSTM과 BRNN을 결합하여 BLSTM을 형성할 것을 제안했습니다. BRNN과 비교했을 때 BLSTM은 그래디언트 소멸 및 폭발 문제를 더 잘 처리할 수 있습니다. 그레이브스는 2013년에 심층 BLSTM을 제안했는데, 이는 특징을 더 잘 추출하고 표현할 수 있으며 효과도 BLSTM보다 우수합니다.

개발 분석

병목

CNN과 달리 LSTM과 같은 시계열 네트워크는 병렬로 처리하기 어렵고, 따라서 GPU를 사용하여 가속화하기도 어렵습니다. 게다가 순환 인식과 내장 메모리 노드를 갖춘 RNN과 LSTM은 점점 덜 사용되게 되고 CNN 기반 솔루션과 경쟁할 수 없게 될 것입니다. 병렬 아키텍처가 순차 아키텍처보다 성능이 뛰어나기 때문입니다.

향후 개발 방향

BLSTM에는 다양한 개발 방향이 있습니다.

• LSTM과 그 변형인 BLSTM의 입력 및 출력 게이트는 보조 미분 가능 메모리로 대체될 가능성이 높습니다.

• 다양한 신경망의 조합(BLSTM+CNN)과 같은 보다 복잡한 신경망.