게이트된 직교 순환 유닛: 잊기 학습에 대한 연구

우리는 유니타리 RNN(unitary RNN)의 기억 능력과 게이트 RNN(gated RNN)의 메모리에서 불필요하거나 관련 없는 정보를 효과적으로 잊어버릴 수 있는 능력을 결합한 새로운 순환 신경망(RNN) 기반 모델을 제시합니다. 이를 위해 유니타리 RNN에 게이팅 메커니즘을 추가하여 구현하였습니다. 우리의 모델은 여러 장기 의존성 벤치마크 작업에서 LSTM, GRU 및 유니타리 RNN보다 우수한 성능을 보여줍니다. 우리는 경험적으로 유니타리/직교 RNN이 잊어버릴 수 있는 능력이 부족함을 입증하였으며, GORU가 장기 의존성을 동시에 기억하면서도 관련 없는 정보를 잊어버릴 수 있는 능력을 보여주었습니다. 이는 순환 신경망에서 중요한 역할을 합니다. 우리는 bAbI 질문 답변, TIMIT 음성 스펙트럼 예측, Penn TreeBank, 그리고 알고리즘, 괄호, 노이즈 제거 및 복사와 같은 장기 의존성이 포함된 합성 작업 등 다양한 자연 시퀀스 작업에서 우리 모델의 경쟁력 있는 결과와 분석을 제공합니다.