Visual Dialog の正式名である VisDial は、MS COCO データ セットのイメージに基づく手動の注釈問題を含むデータ セットです。

このデータセットは、2 人の被験者に Amazon Mechanical Turk 上の画像についてチャットさせることで開発されました。 1 人が質問者となり、もう 1 人が回答者になります。質問者は画像のテキスト説明 (つまり、MS COCO データセットの画像タイトル) のみを見ることができ、元の画像は質問者には見えません。彼らの課題は、「場面をよりよく想像する」ために画像を中心に質問をすることでした。回答者は画像とタイトルを見て、質問者の質問に答えます。二人は最大 10 ラウンドまで質問と回答をしながら会話を続けることができます。

VisDial v1.0 には次のものが含まれます。

• トレーニング セット: 1,23,287 枚の写真、写真ごとに 10 の対話ラウンド。
• 検証セット: 2,064 枚の写真、写真ごとに 10 の対話ラウンド。
• テスト セット: 8,000 枚の写真、写真ごとに 1 つのダイアログ ラウンド。