AuGPT: 보조 작업 및 데이터 증강을 활용한 사전 훈련 언어 모델 기반의 단일화 대화

주목 기반 사전 학습 언어 모델인 GPT-2와 같은 모델들은 엔드 투 엔드 대화 모델링에 상당한 발전을 가져왔습니다. 그러나 이러한 모델들은 지식 근거 부족이나 다양성 부족과 같은 과제 지향적 대화에서 상당한 위험성을 내포하고 있습니다. 이러한 문제들을 해결하기 위해, 우리는 언어 모델 fine-tuning을 위한 수정된 학습 목표를 제안하며, 역 번역을 통한 대규모 데이터 증강을 사용하여 학습 데이터의 다양성을 높입니다. 또한, 다중 출처의 데이터를 결합하여 타겟 데이터셋에서의 성능 개선 가능성을 검토합니다. 우리는 인간 평가와 자동 평가 방법을 통해 우리의 기여를 철저히 평가하였습니다. 우리의 모델은 MultiWOZ 데이터에서 베이스라인보다 크게 우수한 성능을 보였으며, 자동 평가와 인간 평가 모두에서 최신 연구들과 경쟁력 있는 성능을 나타냈습니다.