
초록
재귀 신경망은 많은 자연어 처리(NLP) 작업에서 큰 성공을 거두었습니다. 그러나 재귀 구조 때문에 병렬화에 어려움이 있어 RNN의 학습 시간이 많이 소요됩니다. 본 논문에서는 시퀀스를 여러 하위 시퀀스로 분할하여 병렬화가 가능한 슬라이싱된 재귀 신경망(SRNNs)을 소개합니다. SRNNs는 적은 추가 매개변수로 여러 층을 통해 고차 정보를 얻을 수 있는 능력을 가지고 있습니다. 우리는 선형 활성화 함수를 사용할 때 표준 RNN이 SRNN의 특수한 경우임을 증명하였습니다. 재귀 유닛을 변경하지 않아도 SRNNs는 표준 RNN보다 136배 빠르며, 더 긴 시퀀스를 학습할 때는 더욱 빠를 수 있습니다. 여섯 개의 대규모 감성 분석 데이터셋에 대한 실험 결과, SRNNs가 표준 RNN보다 더 우수한 성능을 보임을 확인하였습니다.