MultiSubs: 大規模な多モーダルおよび多言語データセット

本論文では、言語における文脈的な使用において単語を画像に接地する研究を促進することを目指した大規模な多モーダルかつ多言語のデータセットを紹介します。このデータセットは、映画の字幕から抽出された文で表現される概念を明確に示すために選択された画像で構成されています。このデータセットは以下の点で貴重なリソースとなっています。(i) 画像が全体の文ではなく、テキスト断片と対応しています；(ii) テキスト断片や文に対して複数の画像が存在することが可能です；(iii) 文は自由形式で現実世界に近いものです；(iv) 平行テキストは多言語です。私たちは、人間による評価のために、自動的な画像選択プロセスの品質を評価するための穴埋めゲームを設定しました。また、このデータセットの有用性を2つの自動タスクで示します：(i) 穴埋め；(ii) 語彙翻訳。人間評価と自動モデルの結果は、画像がテキストコンテクストへの補完として有用であることを示しています。このデータセットは特に自由形式の文脈での単語の視覚的接地研究に貢献し、Creative Commonsライセンスのもとでhttps://doi.org/10.5281/zenodo.5034604から入手できます。