SOLOIST: 전이 학습과 머신 티칭을 활용한 대규모 작업 봇 구축

우리는 전이 학습과 기계 교육을 활용하여 대규모로 작업 봇을 구축하는 새로운 방법 SOLOIST를 제시합니다. 클래식 모듈형 작업 지향 대화 시스템을 트랜스포머 기반 자기 회귀 언어 모델을 사용하여 매개변수화하여, 다양한 대화 모듈을 단일 신경망 모델로 통합합니다. 우리는 이질적인 대화 코퍼스에서 사전 학습된 작업 기반 응답 생성 모델을 제안하며, 이 모델은 사용자의 목표와 실제 세계의 지식에 근거한 대화 응답을 생성하여 작업 완료를 지원합니다. 사전 학습된 모델은 기계 교육을 통해 몇 개의 작업 특정 대화 샘플만으로도 효율적으로 새로운 작업에 적응할 수 있습니다. 여기서 훈련 샘플은 인간 교사가 시스템과 상호작용하면서 생성됩니다. 실험 결과는 다음과 같습니다: (i) SOLOIST는 CamRest676 및 MultiWOZ와 같은 잘 연구된 작업 지향 대화 벤치마크에서 새로운 최고 성능(SOTA)를 달성했습니다; (ii) 소수 샷 미세 조정 설정에서 SOLOIST는 기존 방법보다 크게 우월한 성능을 보였으며, (iii) 기계 교육의 사용은 미세 조정의 라벨링 비용을 실질적으로 줄였습니다. 사전 학습된 모델과 코드는 https://aka.ms/soloist에서 제공됩니다.