초록
시퀀스 라벨링 아키텍처는 단어 임베딩을 사용하여 유사성을 포착하지만, 이전에 본 적이 없거나 드문 단어를 처리할 때 어려움을 겪습니다. 우리는 이러한 모델의 문자 수준 확장을 조사하고 대체 단어 표현을 결합하는 새로운 아키텍처를 제안합니다. 어텐션 메커니즘을 사용함으로써, 모델은 단어 수준 또는 문자 수준 구성 요소에서 얼마나 많은 정보를 사용할지를 동적으로 결정할 수 있습니다. 우리는 다양한 시퀀스 라벨링 데이터셋에서 다른 아키텍처들을 평가하였으며, 문자 수준 확장이 모든 벤치마크에서 성능 향상을 가져왔음을 확인하였습니다. 또한, 제안된 어텐션 기반 아키텍처는 학습 가능한 매개변수의 수가 적더라도 가장 우수한 결과를 제공하였습니다.