ERNIE-GEN: 자연어 생성을 위한 향상된 다중 흐름 사전 학습 및 미세 조정 프레임워크

현재 자연어 생성의 사전 학습 작업은 다운스트림 작업에서 노출 편향 문제에 대해 거의 주목하지 않고 있습니다. 이 문제를 해결하기 위해, 우리는 인필링 생성 메커니즘과 노이즈 인식 생성 방법을 통해 학습과 추론 사이의 차이를 줄이는 강화된 멀티 플로우 시퀀스-투-시퀀스 사전 학습 및 미세 조정 프레임워크인 ERNIE-GEN을 제안합니다. 생성을 인간의 글쓰기 패턴에 가깝게 만들기 위해, 이 프레임워크는 단어 하나하나를 예측하는 대신 의미적으로 완전한 구간들을 연속적으로 예측하도록 모델을 훈련시키는 구간별 생성 흐름을 도입합니다. 기존의 사전 학습 방법과 달리, ERNIE-GEN은 사전 학습 데이터를 구성하기 위해 다중 세분화 목표 샘플링을 통합하여 인코더와 디코더 간의 상관성을 높입니다. 실험 결과, ERNIE-GEN은 다양한 언어 생성 작업에서 최상의 성능을 달성하며, 요약 생성(Gigaword 및 CNN/DailyMail), 질문 생성(SQuAD), 대화 생성(Persona-Chat) 및 생성적 질문 응답(CoQA) 등에서 훨씬 적은 양의 사전 학습 데이터와 매개변수로도 최고 수준의 결과를 보여주었습니다.