RNNs의 RNNs: 순환 신경망의 안정적인 조립체의 재귀적 구성

재귀 신경망(RNNs)은 뇌과학 분야에서 국소적인 신경 활동의 모델로서 널리 사용되고 있습니다. 단일 RNN의 많은 특성들은 이론적으로 잘 설명되어 있지만, 실험적 뇌과학은 여러 상호작용하는 영역을 연구하는 방향으로 발전하고 있으며, RNN 이론도 마찬가지로 확장될 필요가 있습니다. 우리는 이 문제에 대해 건설적인 접근법을 취하여, 비선형 제어 이론과 기계 학습 도구를 활용하여 안정적인 RNN들의 조합이 언제 스스로 안정성을 유지할 수 있는지를 특징화하였습니다. 특히, 상호작용하는 RNN들 사이의 대규모 피드백 연결을 허용하는 조건들을 도출하였습니다. 이러한 조건들을 경사 하강 기법을 사용하여 쉽게 최적화할 수 있도록 매개변수화하였으며, 안정성 제약이 적용된 "네트워크의 네트워크"가 어려운 순차 처리 벤치마크 작업에서 우수한 성능을 보임을 입증하였습니다. 총괄적으로, 우리의 결과는 뇌에서 분산되고 모듈화된 기능을 이해하기 위한 원칙적인 접근 방법을 제공합니다.