Command Palette

Search for a command to run...

4달 전

요약 역사에서 복사하기를 배우기: 추상적 요약을 위한 상관 복사 네트워크

{BoWen Zhou Xiaodong He Youzheng Wu Yujia Wang Peng Yuan Song Xu Haoran Li}

요약 역사에서 복사하기를 배우기: 추상적 요약을 위한 상관 복사 네트워크

초록

복사 기법은 추상적 요약(abstractive summarization) 분야에서 상당한 성공을 거두었으며, 모델이 입력 텍스트에서 단어를 직접 출력 요약문으로 복사할 수 있도록 지원한다. 기존의 연구들은 주로 인코더-디코더 어텐션을 활용하여 각 시간 단계에서 이전 상태에 독립적으로 복사를 수행한다. 그러나 이러한 방식은 때때로 복사가 완전하지 못하게 되는 문제가 있다. 본 논문에서는 기존 복사 기법을 보완하기 위해 복사 이력을 지속적으로 추적하는 새로운 복사 방식인 상관 복사 네트워크(Correlational Copying Network, CoCoNet)를 제안한다. CoCoNet은 이전에 복사된 단어와 관련된 입력 단어를 각 시간 단계에서 명시적으로 복사하도록 모델을 유도함으로써 과거 복사 분포의 정보를 활용한다. 또한, 복사 행동을 모사하는 적절한 코퍼스를 활용한 사전 학습을 통해 CoCoNet의 성능을 더욱 강화한다. 실험 결과, CoCoNet은 더 정확한 복사를 수행하며, 뉴스 요약에 사용되는 CNN/DailyMail 및 대화 요약에 사용되는 SAMSum을 포함한 여러 요약 벤치마크에서 최신의 최고 성능을 달성하였다. 코드 및 체크포인트는 공개될 예정이다.

벤치마크

벤치마크방법론지표
abstractive-text-summarization-on-cnn-dailyCoCoNet + CoCoPretrain
ROUGE-1: 44.50
ROUGE-2: 21.55
ROUGE-L: 41.24
abstractive-text-summarization-on-cnn-dailyCoCoNet
ROUGE-1: 44.39
ROUGE-2: 21.41
ROUGE-L: 41.05

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
요약 역사에서 복사하기를 배우기: 추상적 요약을 위한 상관 복사 네트워크 | 연구 논문 | HyperAI초신경