Gated Recurrent Neural Networks의 시퀀스 모델링에 대한 실증적 평가

본 논문에서는 순환 신경망(RNN)에서 사용되는 다양한 유형의 순환 유닛을 비교합니다. 특히, 게이팅 메커니즘을 구현하는 더 복잡한 유닛, 예를 들어 장단기 기억(LSTM) 유닛과 최근 제안된 게이팅 순환 유닛(GRU)에 초점을 맞춥니다. 우리는 이러한 순환 유닛들을 다성음 음악 모델링과 음성 신호 모델링 작업에서 평가하였습니다. 실험 결과, 이러한 고급 순환 유닛들이 tanh 유닛과 같은 전통적인 순환 유닛들보다 우수하다는 것을 확인할 수 있었습니다. 또한, GRU가 LSTM과 비슷한 성능을 보임을 발견하였습니다.