초록
가변 길이의 순차 데이터를 처리하는 것은 음성 인식, 언어 모델링, 생성적 이미지 모델링 및 기계 번역 등 다양한 응용 분야에서 주요한 과제입니다. 본 연구에서는 이 과제를 해결하기 위해 새로운 순환 신경망(RNN) 구조인 빠른-느린 RNN(Fast-Slow RNN, FS-RNN)을 제안합니다. FS-RNN은 여러 시간 척도에서 순차 데이터를 처리하고 한 시간 단계에서 다음 시간 단계로의 복잡한 전이 함수를 학습하여 다중 척도 RNN과 깊은 전이 RNN의 장점을 모두 통합합니다. 우리는 Penn Treebank과 Hutter Prize Wikipedia 두 개의 문자 수준 언어 모델링 데이터 세트에서 FS-RNN을 평가하였으며, 각각 $1.19$ 비트/문자(bit-per-character, BPC)와 $1.25$ BPC로 최신 기술 결과를 개선했습니다. 또한, 두 개의 FS-RNN 앙상블은 Hutter Prize Wikipedia에서 $1.20$ BPC를 달성하여 BPC 측면에서 알려진 최고의 압축 알고리즘을 능가하였습니다. 우리는 또한 FS-RNN의 학습 및 네트워크 동역학에 대한 경험적 조사를 제시하며, 이는 다른 RNN 구조에 비해 성능이 향상된 이유를 설명합니다. 우리의 접근 방식은 일반적이며, 어떤 종류의 RNN 셀도 FS-RNN 구조의 구성 요소로 사용될 수 있으므로 다양한 작업에 유연하게 적용할 수 있습니다.