Command Palette

Search for a command to run...

4달 전

언어 모델링 및 명명된 실체 인식을 위한 개선된 미분 가능 아키텍처 검색

{Yufan Jiang Tong Xiao Chunliang Zhang Chi Hu Jingbo Zhu}

언어 모델링 및 명명된 실체 인식을 위한 개선된 미분 가능 아키텍처 검색

초록

이 논문에서는 자연어 처리 분야를 위한 미분 가능한 신경망 아키텍처 탐색(NAS) 방법을 연구한다. 특히, 소프트맥스-로컬 제약을 제거함으로써 미분 가능한 아키텍처 탐색을 개선한다. 또한, 미분 가능한 NAS를 명명된 실체 인식(NER)에 적용한다. 이는 언어 모델링을 제외한 자연어 처리(NLP) 작업에 미분 가능한 NAS 방법을 처음으로 도입한 사례이다. PTB 언어 모델링 및 CoNLL-2003 영어 NER 데이터셋에서 본 방법은 강력한 기준 모델들을 모두 상회하며, NER 작업에서 새로운 최고 성능을 달성하였다.

벤치마크

벤치마크방법론지표
language-modelling-on-ptbI-DARTS
PPL: 56.0
named-entity-recognition-ner-on-conll-2003I-DARTS + Flair
F1: 93.47

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
언어 모델링 및 명명된 실체 인식을 위한 개선된 미분 가능 아키텍처 검색 | 연구 논문 | HyperAI초신경