Command Palette

Search for a command to run...

4달 전

주목력 정규화를 통한 시퀀스-투-시퀀스 학습: E2E NLG 챌린지에 응용

{Qian Lin Biao Zhang Jinsong Su Jing Yang}

초록

이 논문은 엔드투엔드(End-to-End, E2E) 자연어 생성(Natural Language Generation, NLG) 챌린지에 사용한 시스템에 대해 설명한다. 이 챌린지는 레스토랑 도메인의 음성 대화 시스템을 위한 새로운 데이터셋을 수집하였으며, 이 데이터셋은 더 풍부한 어휘 표현과 문법적 다양성을 보여주며, 콘텐츠 선택(content selection)을 요구한다(Novikova 등, 2017). 이 문제를 해결하기 위해 우리는 CAEncoder를 강화한 시퀀스-투-시퀀스 학습 모델(Zhang 등, 2017)을 활용하고, 입력 단어들에 걸쳐 주의(attention) 가중치를 균일하게 분포시키며 과적합(overfitting) 문제를 제어하기 위한 주의 정규화 기법(attention regularizer)을 제안한다. 특별한 사전 설정 없이도 본 시스템은 매우 우수한 성능을 달성한다. 특히, 본 시스템은 ROUGE-L 점수 0.7083을 기록하여 제출된 모든 주요 시스템 중에서 최고 성능을 보였다.

벤치마크

벤치마크방법론지표
data-to-text-generation-on-e2e-nlg-challengeZhang
BLEU: 65.45
CIDEr: 2.1012
METEOR: 43.92
NIST: 8.1804
ROUGE-L: 70.83

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp