초록
순환 신경망은 시퀀스 데이터, 특히 자연어 처리에서의 텍스트 데이터 표현을 계산하는 데 있어 널리 사용되고 있습니다. 특히, 양방향 LSTM(BiLSTM)은 다양한 NLP 작업에서 최고 성능을 달성하는 여러 신경 모델의 핵심 구성 요소입니다. 그러나 BiLSTM은 순차적 편향(sequential bias) 문제로 알려져 있으며, 이는 문장 내에서 가까운 토큰들에 의해 상황적 표현이 크게 영향을 받는다는 것을 의미합니다. 우리는 각 토큰 시퀀스의 접미사와 접두사를 전방향과 역방향으로 모두 인코딩하는 BiLSTM 모델에 대한 일반적이고 효과적인 개선 방법을 제안합니다. 이를 접미사 양방향 LSTM(Suffix Bidirectional LSTM, SuBiLSTM)이라고 부릅니다. 이 방법은 장거리 의존성을 선호하는 대체 편향(alternate bias)을 도입합니다. 우리는 SuBiLSTM을 문장 모델링이 필요한 여러 작업에 적용하였습니다. 기존 모델에서 BiLSTM 대신 SuBiLSTM을 사용하면 일반적인 문장 표현 학습, 텍스트 분류, 문장 간 추론 및 동의어 검출 등에서 성능 개선이 이루어짐을 보여주었습니다. 또한 SuBiLSTM을 사용하여 세부 감정 분류(fine-grained sentiment classification)와 질문 분류(question classification) 작업에서 새로운 최고 수준의 결과를 달성하였습니다.