확장된 순환 신경망

장기 시퀀스에서 순환 신경망(RNN)을 사용한 학습은 매우 어려운 과제로 알려져 있습니다. 이는 세 가지 주요 도전 과제를 포함합니다: 1) 복잡한 의존성, 2) 기울기 소실 및 폭발, 그리고 3) 효율적인 병렬화. 본 논문에서는 이러한 모든 도전 과제를 동시에 해결하는 간단하면서도 효과적인 RNN 연결 구조인 DilatedRNN을 소개합니다. 제안된 아키텍처는 다중 해상도 희소 재귀 스킵 연결을 특징으로 하며 다양한 RNN 셀과 유연하게 결합될 수 있습니다. 또한, DilatedRNN은 필요한 매개변수의 수를 줄이고 학습 효율성을 크게 향상시키면서도 장기 의존성을 포함하는 작업에서 최신 성능을 일치시킵니다(표준 RNN 셀을 사용하더라도).이 아키텍처의 장점을 이론적으로 정량화하기 위해, 우리는 장기 스킵 연결이 있는 RNN에 더 적합한 메모리 용량 측정 지표인 평균 재귀 길이(mean recurrent length)를 도입합니다. 우리는 DilatedRNN이 다른 재귀 신경망 아키텍처보다 우월함을 엄밀히 증명하였습니다. 우리의 방법에 대한 코드는 https://github.com/code-terminator/DilatedRNN 에서 공개적으로 이용할 수 있습니다.