짧은 문자열에서 언어 식별을 위한 Apple의 양방향 LSTM 모델의 재현

언어 식별은 문서의 언어를 식별하는 작업이다. 자동 철자 검사기 선택과 같은 응용 분야에서는 텍스트 메시지 조각과 같은 매우 짧은 문자열을 사용해야 하므로 언어 식별이 필요하다. 본 연구에서는 애플이 블로그 포스트에서 간략히 제시한 언어 식별 아키텍처를 재현하였다. 이 과정에서 이중 방향 LSTM(bi-LSTM) 모델의 성능을 확인하였으며, 현재 공개된 오픈소스 언어 식별기들보다 우수한 성능을 보임을 발견하였다. 또한, 모델의 언어 식별 오류는 관련성이 높은 언어들 간의 혼동에서 비롯된다는 점을 추가로 확인하였다.