MMDialog: 대규모 다중 턴 대화 데이터셋으로 다중 모달 오픈 도메인 대화를 위한 연구

다중 모드 콘텐츠에 대한 응답은 지능형 대화 에이전트의 필수적인 기능으로 인식되고 있습니다. 본 논문에서는 다중 모드 대화를 더욱 원활하게 지원하기 위해 MMDialog 데이터셋을 소개합니다. MMDialog는 4,184개 주제에 걸쳐 1.53백만 개의 고유 이미지를 포함하는 1.08백만 건의 실제 대화로 구성되어 있습니다. MMDialog는 두 가지 주요하고 독특한 장점을 가지고 있습니다. 첫째, 대화 수 기준으로 기존 데이터셋보다 88배 더 큰 규모의 다중 모드 대화 데이터셋입니다. 둘째, 오픈 도메인 일반화를 위한 방대한 주제를 포함하고 있습니다. 이 데이터셋을 활용하여 참여도 높은 대화 시스템을 구축하기 위해, 검색 및 생성 시나리오를 기반으로 하는 두 가지 응답 생성 작업을 제안하고 표준화하였습니다. 또한, 최신 기술을 사용하여 위 작업에 대한 두 개의 베이스라인을 구축하고 실험 성능을 보고합니다. 우리는 다중 모드 응답의 적합성을 측정하기 위한 새로운 평가 지표인 MM-Relevance(다중 모드 관련성)를 제안합니다. 우리의 데이터셋과 스크립트는 https://github.com/victorsungo/MMDialog에서 이용 가능합니다.