적응형 포화 RNN: 더 적은 불안정성으로 더 많은 것을 기억하기

직교 파라미터화는 순환 신경망(RNN)에서의 기울기 소실 문제(VGP)에 매력적인 해결책을 제시한다. 직교 파라미터와 포화되지 않은 활성화 함수를 사용함으로써, 이러한 모델 내의 기울기는 단위 노름(단위 크기)으로 제한된다. 반면 기존의 전통적인 밴일라 RNN은 더 높은 메모리 용량을 지닌 것으로 간주되지만, VGP 문제에 취약하여 많은 응용 분야에서 성능이 저조하다. 본 연구는 제안된 적응형 포화 RNN(asRNN)을 통해 두 가지 접근 방식 사이에서 포화 수준을 동적으로 조절하는 새로운 변형 모델을 제안한다. 결과적으로 asRNN은 밴일라 RNN의 용량과 직교 RNN의 학습 안정성이라는 이점을 동시에 누릴 수 있다. 다양한 도전적인 시계열 학습 벤치마크에서 수행한 실험 결과는 asRNN이 여러 강력한 경쟁 모델들에 비해 유망한 성능을 보였음을 보여준다. 본 연구의 코드는 다음 링크에서 공개되어 있다: https://github.com/ndminhkhoi46/asRNN/.