2ヶ月前
MASSIVE: 100万例の51言語に及ぶ多言語自然言語理解データセット
Jack FitzGerald; Christopher Hench; Charith Peris; Scott Mackie; Kay Rottmann; Ana Sanchez; Aaron Nash; Liam Urbach; Vishesh Kakarala; Richa Singh; Swetha Ranganath; Laurie Crist; Misha Britan; Wouter Leeuwis; Gokhan Tur; Prem Natarajan
要約
私たちは、スロット充填、インテント分類、および仮想アシスタント評価のための多言語アマゾンスラリソースパッケージ（SLURP）であるMASSIVEデータセットを紹介します。MASSIVEは、51言語、18ドメイン、60インテント、55スロットにわたる100万件の現実的な並列ラベル付き仮想アシスタント発話データを含んでいます。このデータセットは、英語のみのSLURPデータセットを29種類の言語群から選ばれた50のタイプ論的に多様な言語に翻訳するプロフェッショナルな翻訳者によって作成されました。また、XLM-RとmT5に関するモデリング結果も示しており、完全一致精度、インテント分類精度、およびスロット充填F1スコアが含まれています。当方は本データセット、モデリングコード、およびモデルを公開しています。