초록
순환 신경망은 시퀀스 데이터 모델링에 널리 사용되고 있습니다. 그러나 이 모델들을 사용하여 장기 의존성을 학습하는 것은 그래디언트 폭발 또는 소실 문제로 인해 여전히 어려운 면이 있습니다. 본 논문에서는 순환 신경망과 상미분 방정식 사이의 관계를 살펴보고, 이 이론적 틀 아래에서 안정성 특성을 가진 미분 방정식을 기반으로 장기 의존성을 효과적으로 포착할 수 있는 특수한 형태의 순환 신경망인 AntisymmetricRNN(대칭성 없는 RNN)을 제안합니다. 기존의 RNN 학습 가능성 개선 방법들은 종종 많은 계산 부하를 초래하지만, AntisymmetricRNN은 설계를 통해 같은 목표를 달성합니다. 우리는 광범위한 시뮬레이션과 실험을 통해 이 새로운 아키텍처의 우위를 보여줍니다. AntisymmetricRNN은 예측 가능한 동역학을 보이며, 장기 기억이 필요한 작업에서는 일반 LSTM 모델보다 우수한 성능을 보이고, 단기 의존성이 주도하는 작업에서는 훨씬 간단함에도 불구하고 비슷한 성능을 나타냅니다.