MMDialog: 大規模マルチターン対話データセットによるマルチモーダルオープンドメイン会話の実現

多モーダルコンテンツへの対応は、知能型会話エージェントにとって重要な能力として認識されています。本論文では、多モーダル会話をより効果的に促進するためのMMDialogデータセットを紹介します。MMDialogは、4,184のトピックにわたる108万件の実際の対話と153万枚の独自画像から構成されています。MMDialogには主に2つの特徴的な利点があります。第一に、対話数において既存の最大の多モーダル会話データセットよりも88倍大きいです。第二に、オープンドメインを一般化するために大量のトピックが含まれています。このデータセットを使用して魅力的な対話システムを構築するために、検索シナリオと生成シナリオに基づく2つのレスポンス生成タスクを提案し、規格化しました。さらに、これらのタスクに対して最先端技術を用いて2つのベースラインモデルを構築し、その実験結果を報告しています。また、新しい評価指標であるMM-Relevance（マルチモーダル関連性）を提案し、多モーダルレスポンスの測定を行っています。当該データセットおよびスクリプトは、https://github.com/victorsungo/MMDialog で公開されています。