초록
계층적 및 시간적 표현을 학습하는 것은 재귀 신경망의 오랜 도전 과제 중 하나였습니다. 다중 스케일 재귀 신경망은 이러한 문제를 해결하기 위한 유망한 접근 방식으로 여겨졌지만, 이 모델들이 시퀀스의 잠재적인 계층 구조를 발견하여 실제로 시간적 의존성을 포착할 수 있다는 경험적 증거가 부족했습니다. 본 논문에서는 새로운 업데이트 메커니즘을 사용하여 다양한 시간 척도로 시간적 의존성을 인코딩함으로써 시퀀스 내의 잠재적인 계층 구조를 포착할 수 있는 혁신적인 다중 스케일 접근 방식인 계층적 다중 스케일 재귀 신경망(Hierarchical Multiscale Recurrent Neural Networks)을 제안합니다. 우리는 제안된 다중 스케일 아키텍처가 명시적인 경계 정보 없이 시퀀스 내의 근본적인 계층 구조를 발견할 수 있다는 증거를 제시합니다. 또한, 제안된 모델을 문자 단위 언어 모델링과 필기체 시퀀스 모델링에 평가하였습니다.