TransferTransfo: 신경망 기반 대화형 에이전트를 위한 전이 학습 접근법

우리는 생성 데이터 기반 대화 시스템(예: 챗봇)에 대한 새로운 접근 방식인 TransferTransfo를 소개합니다. 이 방법은 전이 학습(Transfer learning) 기반의 훈련 방식과 고용량 트랜스포머(Transformer) 모델을 결합한 것입니다. 미세 조정(fine-tuning)은 여러 비지도 예측 작업을 결합한 다중 태스크 목적(multi-task objective)을 사용하여 수행됩니다. 결과적으로 미세 조정된 모델은 메모리 증강 seq2seq와 정보 검색 모델 등의 현재 최신 엔드투엔드 대화 모델보다 크게 개선되었습니다. 개인적으로 보유하고 있는 Conversational Intelligence Challenge 2의 PERSONA-CHAT 데이터셋에서 이 접근 방식은 새로운 최신 성능을 달성하였습니다. 각각의 퍼플렉서티(perplexity), Hits@1, F1 지표는 16.28(45% 절대적 개선), 80.7(46% 절대적 개선), 19.5(20% 절대적 개선)입니다.