11일 전
당신의 복사 메커니즘과 함께하는 힘: 자연어 생성을 위한 개선된 감독 복사 방법
Sanghyuk Choi, Jeong-in Hwang, Hyungjong Noh, Yeonsoo Lee

초록
최근 복사 메커니즘을 갖춘 신경 시퀀스-투-시퀀스 모델은 다양한 텍스트 생성 작업에서 놀라운 진전을 이루었다. 이러한 모델들은 사전에 존재하지 않는 단어(OOV, out-of-vocabulary) 문제를 해결하고 드문 단어의 생성을 가능하게 하였다. 그러나 이전의 복사 모델들이 관찰한 바와 같이, 복사해야 할 단어를 정확히 식별하는 것은 여전히 어려운 과제이며, 이로 인해 잘못된 생성이 발생하고 추상성이 부족한 결과를 초래하는 문제가 있었다. 본 논문에서는 모델이 어떤 단어를 복사해야 하는지, 어떤 단어를 생성해야 하는지 결정하는 데 도움을 주는 새로운 지도 학습 기반 복사 네트워크 접근법을 제안한다. 구체적으로, 복사 과정을 안내하기 위해 소스 시퀀스와 타겟 사전을 활용하는 새로운 목적 함수를 정의하였다. 데이터에서 텍스트 생성 및 추상적 요약과 같은 다양한 작업에 대한 실험 결과를 통해 제안하는 방법이 복사 품질을 향상시키고 추상성 수준을 높임을 확인하였다.