결합된 진동 재귀 신경망 (coupled Oscillatory Recurrent Neural Network, coRNN): 장시간 의존성을 학습하기 위한 정확하고 (기울기) 안정적인 구조

생물학적 뉴런의 회로, 예를 들어 뇌의 기능적인 부분은 결합된 진동자들의 네트워크로 모델링될 수 있습니다. 이러한 시스템이 상태 변수의 그래디언트(gradient)를 제한하면서도 풍부한 출력 집합을 표현할 수 있는 능력에 착안하여, 우리는 순환 신경망(RNN)을 위한 새로운 아키텍처를 제안합니다. 제안된 RNN은 제어되는 비선형 진동자의 네트워크를 모델링하는 이계 상미분 방정식 시스템의 시간 이산화(time-discretization)를 기반으로 합니다. 우리는 은닉 상태의 그래디언트에 대한 정확한 경계값을 증명하여, 이 RNN에서 그래디언트 폭발 및 소실 문제(exploding and vanishing gradient problem)를 완화시킬 수 있음을 보여줍니다. 실험 결과는 제안된 RNN이 다양한 벤치마크에서 최신 기술과 유사한 성능을 나타내며, 이 아키텍처가 복잡한 순차 데이터 처리에 안정적이고 정확한 RNN을 제공할 잠재력을 보여주고 있습니다.