단어의 내부 구조를 더 잘 학습하여 시퀀스 라벨링 개선

문자 기반 신경망 모델은 최근 많은 자연어 처리(NLP) 작업에 매우 유용하다는 것이 입증되었습니다. 그러나 문장과 단어의 표현을 학습하는 방법 간에는 정교함의 차이가 존재합니다. 대부분의 문자 모델은 문장 표현을 학습할 때 깊고 복잡하지만, 단어 표현을 학습할 때는 얕고 간단합니다. 또한, 문자 임베딩을 학습하는 데 대한 상당한 연구가 이루어졌음에도 불구하고, 여전히 어떤 구조가 문자-단어 표현을 포착하는 데 가장 좋은지 명확하지 않습니다. 이러한 질문들을 해결하기 위해, 먼저 단어와 문장 표현을 학습하는 방법 간의 차이를 조사하였습니다. 우리는 최신의 다양한 컨볼루션 모델에 대해 자세한 실험과 비교를 수행하였으며, 이들 구성 요소의 장점과 단점을 조사하였습니다. 또한, 제한된 감독 훈련 코퍼스에서 단어의 내부 구조를 학습하기 위해 문자들을 조합하는 데 사용되는 다운샘플링 없이 넓고 컨볼루션 신경망 구조인 IntNet(인트넷)을 제안하였습니다. 제안된 모델은 이름체 인식, 품사 태깅, 문법적 청크화 등을 포함하는 여섯 개의 시퀀스 라벨링 데이터셋에서 평가되었습니다. 우리의 심층 분석 결과는 IntNet이 다른 문자 임베딩 모델보다 현저히 우수하며, 외부 지식이나 자원에 의존하지 않고 새로운 최첨단 성능을 달성한다는 것을 보여주었습니다.