언어 모델링 및 명명된 실체 인식을 위한 개선된 미분 가능 아키텍처 검색

이 논문에서는 자연어 처리 분야를 위한 미분 가능한 신경망 아키텍처 탐색(NAS) 방법을 연구한다. 특히, 소프트맥스-로컬 제약을 제거함으로써 미분 가능한 아키텍처 탐색을 개선한다. 또한, 미분 가능한 NAS를 명명된 실체 인식(NER)에 적용한다. 이는 언어 모델링을 제외한 자연어 처리(NLP) 작업에 미분 가능한 NAS 방법을 처음으로 도입한 사례이다. PTB 언어 모델링 및 CoNLL-2003 영어 NER 데이터셋에서 본 방법은 강력한 기준 모델들을 모두 상회하며, NER 작업에서 새로운 최고 성능을 달성하였다.