Command Palette

Search for a command to run...

4달 전

SeqVAT: 반감독학습 시퀀스 레이블링을 위한 가상 적대적 훈련

{Luoxin Chen Weitong Ruan Xinyue Liu Jianhua Lu}

SeqVAT: 반감독학습 시퀀스 레이블링을 위한 가상 적대적 훈련

초록

가상 적대적 훈련(Virtual Adversarial Training, VAT)은 감독 학습 및 반감독 학습 환경에서 모델의 강건성(로버스트성)을 향상시키는 강력한 기법이다. 이 방법은 효과적이며 이미지 분류 및 텍스트 분류와 같은 다양한 작업에 쉽게 적용 가능하다. 그러나 이전의 접근 방식이 조건부 확률장(Conditional Random Field, CRF)과 VAT를 결합할 수 없기 때문에, 명명된 실체 인식(Named Entity Recognition, NER)과 같은 시퀀스 레이블링 작업에 미치는 효과는 상대적으로 크지 않았다. CRF는 레이블 전이에 대한 제약을 부여함으로써 시퀀스 모델의 정확도를 크게 향상시키며, 대부분의 최신 시퀀스 레이블링 모델 아키텍처에서 핵심 구성 요소로 활용된다. 본 논문에서는 CRF를 갖는 시퀀스 레이블링 모델에 VAT를 자연스럽게 적용할 수 있는 SeqVAT을 제안한다. 실험적 연구 결과, SeqVAT은 감독 학습 환경에서 기존의 베이스라인 대비 시퀀스 레이블링 성능을 크게 향상시키는 것은 물론, 반감독 학습 환경에서도 최신 기법들을 초월하는 성능을 보였다.

벤치마크

벤치마크방법론지표
chunking-on-conll-2000SeqVAT
Exact Span F1: 95.45

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
SeqVAT: 반감독학습 시퀀스 레이블링을 위한 가상 적대적 훈련 | 연구 논문 | HyperAI초신경