두반 대화 코퍼스

이 데이터 세트에는 검색 기반 챗봇을 위한 훈련 데이터 세트, 개발 데이터 세트, 테스트 데이터 세트가 포함되어 있습니다. 테스트 데이터에는 1,000개의 대화 상황이 포함되어 있었고, 연구자들은 각 상황에 대해 10개의 응답을 후보로 만들었습니다. 연구자들은 후보자들이 회의에 적절하게 응답했는지 여부를 판단하기 위해 세 명의 인간 주석자를 모집했습니다. 즉, 맥락을 고려했을 때 응답이 자연스럽게 메시지에 따라 이루어졌는지 여부를 판단했습니다. 각 쌍은 세 개의 라벨을 받았으며, 대부분의 라벨이 최종으로 간주되었습니다.