초록
우리는 캐나다 통계청(Statistics Canada)에서 근무하는 에이전트와 공개된 데이터 테이블을 찾고자 하는 온라인 사용자 간의 19,379회의 대화를 포함하는 StatCan 대화 데이터셋을 소개합니다. 이 대화들은 실제 의도에서 비롯되었으며, 영어 또는 프랑스어로 이루어져 있으며, 에이전트가 5000개 이상의 복잡한 데이터 테이블 중 하나를 검색하도록 이끌었습니다. 이 데이터셋을 기반으로 두 가지 작업을 제안합니다: (1) 지속적인 대화에 따라 관련 테이블을 자동으로 검색하고, (2) 각 차례에서 적절한 에이전트 응답을 자동으로 생성합니다. 우리는 강력한 베이스라인을 설정하여 각 작업의 난이도를 조사했습니다. 시간적 데이터 분할에 대한 실험 결과, 모든 모델이 미래의 대화로 일반화하는 데 어려움을 겪는 것으로 나타났습니다. 검증 세트에서 테스트 세트로 이동할 때 두 작업 모두 성능이 크게 하락하였습니다. 또한, 응답 생성 모델들이 언제 테이블을 반환해야 하는지를 결정하는 데 어려움을 겪는 것을 발견했습니다. 이러한 작업들이 기존 모델에게 상당한 도전 과제임을 고려하여, 우리는 커뮤니티가 우리의 작업에 사용될 수 있는 모델 개발에 참여하기를 권장하며, 이를 통해 지식 근로자가 실시간 채팅 사용자에게 관련 테이블을 제공하는 데 도움이 될 수 있습니다.