Lipschitz 재귀 신경망

순환 신경망(RNNs)을 연속 시간 동적 시스템으로 보고, 은닉 상태의 진화를 두 부분으로 설명하는 순환 유닛을 제안합니다: 잘 이해된 선형 구성 요소와 리프시츠 비선형성(Lipschitz nonlinearity)입니다. 이 특정 함수 형태는 비선형 시스템 이론의 도구를 사용하여 순환 유닛의 장기 행동에 대한 안정성 분석을 용이하게 합니다. 이를 통해 실험 전에 구조 설계 결정을 할 수 있습니다. 순환 유닛의 전역 안정성을 위한 충분 조건이 도출되어, 새로운 은닉-은닉 행렬 구축 방안을 제시합니다. 우리의 실험 결과는 리프시츠 RNN이 컴퓨터 비전, 언어 모델링, 음성 예측 등 다양한 벤치마크 작업에서 기존의 순환 유닛들을 능가할 수 있음을 보여줍니다. 마지막으로, 헤시안(Hessian) 기반 분석을 통해 우리의 리프시츠 순환 유닛이 다른 연속 시간 RNNs보다 입력 및 매개변수 변동에 대해 더 강건함을 입증합니다.