2달 전
대화 데이터셋 저장소
Matthew Henderson; Paweł Budzianowski; Iñigo Casanueva; Sam Coope; Daniela Gerz; Girish Kumar; Nikola Mrkšić; Georgios Spithourakis; Pei-Hao Su; Ivan Vulić; Tsung-Hsien Wen

초록
머신 러닝의 발전은 대규모 데이터셋의 활용 가능성과 모델링 접근 방식을 비교하기 위한 일관된 평가 지표에 의해 주로 이끌어집니다. 이에 따라, 우리는 수억 개의 예제를 포함하는 대화 데이터셋 저장소와 '100개 중 1개 정확도(1-of-100 accuracy)'를 사용한 대화 응답 선택 모델의 표준화된 평가 절차를 소개합니다. 이 저장소에는 연구자들이 표준 데이터셋을 재현하거나, 사전 처리 및 데이터 필터링 단계를 자신의 필요에 맞게 조정할 수 있는 스크립트가 포함되어 있습니다. 또한, 대화 응답 선택을 위한 여러 경쟁력 있는 기준선 모델들을 소개하고 평가하며, 이러한 모델들의 구현은 저장소에서 공유됩니다. 더불어, 전체 학습 세트에서 훈련된 신경 인코더 모델도 제시합니다.