태스크 인식 신경 언어 모델을 활용한 시퀀스 라벨링 강화

언어 시퀀스 라벨링은 품사 태깅과 명명된 개체 인식 등 다양한 문제를 포함하는 일반적인 모델링 접근 방식입니다. 최근 신경망(NNs)의 발전으로 수작업 특징을 사용하지 않고도 신뢰할 수 있는 모델을 구축할 수 있게 되었습니다. 그러나 많은 경우에서 이러한 모델을 학습하기 위한 충분한 주석을 얻는 것이 어렵습니다. 본 연구에서는 원시 텍스트에 숨겨져 있는 풍부한 지식을 추출하여 시퀀스 라벨링 작업을 강화하는 새로운 신경망 프레임워크를 개발하였습니다. 사전 학습된 단어 임베딩에 포함된 단어 수준의 지식 외에도, 문자 인지 신경 언어 모델이 통합되어 문자 수준의 지식을 추출합니다. 또한 전이 학습 기술이 채택되어 다른 구성 요소들을 중재하고 언어 모델을 핵심 지식으로 안내합니다. 이전 방법들과 비교하여 이러한 작업 특异性 지식은 우리에게 더 간결한 모델을 채택하고 효율적인 학습을 수행할 수 있게 합니다. 대부분의 전이 학습 방법과 달리 제안된 프레임워크는 어떠한 추가적인 감독도 필요로 하지 않습니다. 대신 학습 시퀀스의 내포된 순서 정보에서 지식을 추출합니다. 벤치마크 데이터셋에 대한 광범위한 실험 결과는 문자 수준의 지식 활용의 효과성과 공동 학습의 효율성을 입증하였습니다. 예를 들어, CoNLL03 NER 작업에서 모델 학습은 단일 GPU에서 약 6시간 만에 완료되며, 어떠한 추가 주석도 사용하지 않은 상태에서 F1 점수가 91.71$\pm$0.10를 달성하였습니다.