초록
유니타리 진화 행렬과 연관 메모리의 개념은 순환 신경망(RNN) 분야에서 다양한 시퀀스 작업에 최고 수준의 성능을 달성하는 데 크게 기여하였습니다. 그러나 RNN은 여전히 장기 메모리를 조작하는 능력이 제한적입니다. 이 약점을 극복하기 위해 RNN의 가장 성공적인 응용들은 주의 메커니즘과 같은 외부 기술을 사용합니다. 본 논문에서는 이러한 최신 접근 방식들을 통합한 새로운 RNN 모델인 회전 메모리 유닛(Rotational Unit of Memory, RUM)을 제안합니다. RUM의 핵심은 자연스럽게 유니타리 행렬로 작동하는 회전 연산입니다. 이는 구조가 소실 및 폭발 그래디언트 문제를 해결하여 장기 의존성을 학습할 수 있는 힘을 제공합니다. 또한, 회전 유닛은 연관 메모리 역할도 수행합니다. 우리는 합성 기억, 질문 응답, 언어 모델링 작업에서 우리의 모델을 평가하였습니다. RUM은 완벽하게 복사 메모리 작업을 학습하였으며, 재생 작업에서 최신 결과를 개선했습니다. bAbI 질문 응답 작업에서 RUM의 성능은 주의 메커니즘을 갖춘 모델들과 비슷했습니다. 또한, 캐릭터 단위 Penn Treebank(PTB) 작업에서 1.189 비트-당-문자(BPC) 손실로 최신 결과를 개선함으로써, RUM이 실제 시퀀스 데이터에 적용될 수 있음을 입증하였습니다. 우리 구조의 보편성이 RNN의 중심에 자리 잡음으로써, RUM은 언어 모델링, 음성 인식 및 기계 번역 분야에서 유망한 접근 방식으로 자리매김하게 되었습니다.