2 个月前
MASSIVE:一个包含100万例、涵盖51种类型学多样性语言的多语种自然语言理解数据集
Jack FitzGerald; Christopher Hench; Charith Peris; Scott Mackie; Kay Rottmann; Ana Sanchez; Aaron Nash; Liam Urbach; Vishesh Kakarala; Richa Singh; Swetha Ranganath; Laurie Crist; Misha Britan; Wouter Leeuwis; Gokhan Tur; Prem Natarajan

摘要
我们介绍了MASSIVE数据集——多语言亚马逊资源包(SLURP)用于槽填充、意图分类和虚拟助手评估。MASSIVE包含100万条现实的、平行的、标注的虚拟助手话语,涵盖51种语言、18个领域、60个意图和55个槽位。该数据集是由专业翻译人员将仅限英语的SLURP数据集本地化为来自29个语系的50种类型学上多样化的语言而创建的。我们还展示了在XLM-R和mT5模型上的实验结果,包括精确匹配准确率、意图分类准确率和槽填充F1分数。我们已公开发布了我们的数据集、建模代码和模型。