초록
순환 신경망은 순차 데이터를 모델링하는 강력한 도구이지만, 각 시간 단계의 계산이 이전 시간 단계의 출력에 의존함으로써 병렬 처리가 제한되고 매우 긴 시퀀스에 대해 사용하기 어려운 문제를 가지고 있습니다. 우리는 시간 단계 간 병렬 처리가 가능한 컨볼루션 레이어와 채널 간 병렬 처리가 가능한 최소주의적인 순환 풀링 함수를 교대로 적용하는 신경 순차 모델링 방법인 준순환 신경망(QRNNs)을 소개합니다. 훈련 가능한 순환 레이어가 없음에도 불구하고, 동일한 은닉 크기의 스택된 LSTM보다 스택된 QRNNs의 예측 정확도가 더 우수합니다. 그들의 병렬 처리 능력 덕분에 훈련 및 테스트 시 최대 16배 더 빠릅니다. 언어 모델링, 감성 분류, 문자 수준의 신경 기계 번역 등의 실험은 이러한 장점을 입증하고 QRNNs가 다양한 시퀀스 작업의 기본 구성 요소로서 활용 가능성을 강조합니다.