초록
과학 분야(전문 영역으로서)에서 대화형 에이전트의 응용은 이러한 에이전트를 훈련시키기 위한 대화 데이터 부족으로 인해 충분히 연구되지 않았습니다. 아마존 메카니컬 터크와 같은 대부분의 데이터 수집 프레임워크는 군중 작업자와 작업 설계자를 연결하여 일반적인 영역에 대한 데이터 수집을 촉진하지만, 이러한 프레임워크는 전문 영역에서의 데이터 수집을 위해 최적화되어 있지 않습니다. 과학자들은 시간 예산이 제한적이기 때문에 이들 프레임워크에 거의 참여하지 않습니다. 따라서, 우리는 과학 논문에 대해 전문가로서 과학자들 간의 대화를 수집하기 위한 새로운 프레임워크를 소개합니다. 우리의 프레임워크는 과학자들이 자신의 논문을 대화의 기반 자료로 제시하고, 그들이 관심 있는 논문 제목에 참여할 수 있도록 합니다. 우리는 이 프레임워크를 사용하여 새로운 논증적 대화 데이터셋인 ArgSciChat(논리적 과학 챗봇)을 수집했습니다. 이 데이터셋은 20편의 과학 논문에 대한 41개의 대화에서 수집된 498개의 메시지로 구성되어 있습니다. ArgSciChat에 대한 광범위한 분석과 함께, 우리는 최근 개발된 대화형 에이전트를 우리의 데이터셋으로 평가했습니다. 실험 결과, 이 에이전트는 ArgSciChat에서 성능이 매우 낮게 나타나며, 이를 통해 논증적 과학 에이전트에 대한 추가 연구가 필요함을 입증하였습니다. 우리는 우리의 프레임워크와 데이터셋을 공개합니다.