순환 신경망
순환 신경망의 정의
순환 신경망은 시계열 데이터에서 패턴을 찾아 이를 사용하여 미래를 예측하는 것으로 생각할 수 있습니다. 뉴런 입력에는 현재 시점의 데이터뿐만 아니라 이전 시점의 출력 결과도 필요합니다. 뉴런은 출력 결과를 입력으로 반환하고, 이런 식으로 계속 진행됩니다. 시간 차원에서는 다음 그림과 같이 확장됩니다.
현재 순환 신경망은 자연어 처리, 주로 음성 인식 및 언어 모델 분야에서 널리 사용되고 있습니다. 그 중 필기 인식은 RNN을 성공적으로 활용한 가장 오래된 연구 결과이다.
순환 신경망의 특성
순환 신경망(RNN)은 방향성 루프라는 개념을 가지고 있으며, 이를 사용하여 입력 간의 연결 문제를 처리할 수 있습니다. 방향 루프의 구조는 아래 그림과 같습니다.
피드포워드 신경망 FNN과 비교했을 때 순환 신경망은 생물학적 신경망의 구조와 더 일치합니다.
순환 신경망의 응용
단어 벡터 표현, 문장 유효성 검사, 단어 태그 지정 등 자연어 처리 분야에서 순환 신경망은 성공을 거두고 있으며, 그 중 가장 널리 사용되는 모델은 LSTM(Long Short-Term Memory) 모델입니다. 현재 순환 신경망은 주로 다음과 같은 측면에서 사용됩니다.
- 언어 모델링 및 텍스트 생성
- 기계 번역
- 음성 인식
- 이미지 설명 생성
참조 링크:
1.https://zh.wikipedia.org/wiki/순환 신경망