초록
장기 의존성을 가진 순차 입력을 정확히 처리하기 위한 순환 신경망(RNN)의 설계는 폭발 및 소실 그래디언트 문제로 인해 매우 어려운 과제입니다. 이를 해결하기 위해, 우리는 진동자 네트워크를 모델링하는 2차 상미분 방정식의 해밀토니안 시스템(Hamiltonian system)을 구조 보존 이산화(structure preserving discretization)하여 새로운 RNN 아키텍처를 제안합니다. 이로 인해 생성된 RNN은 빠르고, 시간에 대해 역행 가능하며, 메모리 효율적이며, 우리는 숨겨진 상태 그래디언트에 대한 엄격한 경계를 도출하여 폭발 및 소실 그래디언트 문제의 완화를 증명하였습니다. 다양한 (매우) 장기 의존성 학습 과제에서 제안된 RNN이 최고 수준의 성능을 제공함을 보여주는 일련의 실험이 제시되었습니다.