순환 신경망의 구조적 복잡성 측정

본 논문에서는 순환 신경망(RNNs)의 연결 구조를 체계적으로 분석합니다. 우리의 주요 기여는 두 가지입니다: 첫째, 일반적인 RNN의 연결 구조를 설명하는 엄밀한 그래프 이론적 프레임워크를 제시합니다. 둘째, RNN의 구조 복잡도를 측정하는 세 가지 지표를 제안합니다: (a) 시간에 따른 비선형 복잡도를 포착하는 순환 깊이(recurrent depth), (b) 로컬 입력-출력 비선형성을 포착하는 전방향 깊이(feedforward depth)(전방향 신경망(FNNs)의 "깊이"와 유사), 그리고 (c) 정보가 시간에 따라 얼마나 빠르게 전파되는지를 포착하는 순환 스킵 계수(recurrent skip coefficient)입니다. 우리는 각 지표의 존재성과 계산 가능성을 엄밀하게 증명하였습니다. 실험 결과는 RNN이 더 큰 순환 깊이와 전방향 깊이로부터 혜택을 받을 수 있음을 보여줍니다. 또한, 순환 스킵 계수를 증가시키면 장기 의존성 문제에서 성능 향상이 이루어짐을 입증하였습니다.