초록
양방향 장단기 기억망(bi-LSTM)은 최근 다양한 자연어 처리(NLP) 시퀀스 모델링 작업에서 성공을 거두었지만, 입력 표현, 대상 언어, 데이터셋 크기 및 라벨 노이즈에 대한 그들의 의존성에 대해서는 아직 잘 알려져 있지 않습니다. 본 연구에서는 이러한 문제들을 다루고, 단어, 문자 및 유니코드 바이트 임베딩을 사용한 bi-LSTM의 품사 태깅 성능을 평가합니다. 우리는 여러 언어와 데이터 크기에 걸쳐 bi-LSTM과 전통적인 품사 태거를 비교합니다. 또한, 희귀 단어를 고려하는 보조 손실 함수(auxiliary loss function)를 결합한 새로운 bi-LSTM 모델을 제시합니다. 이 모델은 22개 언어에 걸쳐 최고 수준의 성능을 달성하며, 특히 형태소적으로 복잡한 언어에 대해 우수한 성능을 보입니다. 우리의 분석 결과는 bi-LSTM이 이전에 생각했던 것보다 훈련 데이터 크기와 라벨 오염(작은 노이즈 수준에서)에 덜 민감하다는 것을 시사하고 있습니다.