MASSIVE : Un jeu de données multilingue de compréhension naturelle de la langue avec 1 million d’exemples et 51 langues typologiquement diverses

Nous présentons le jeu de données MASSIVE -- Multilingual Amazon Slu Resource Package (SLURP) pour le remplissage de slots, la classification d'intentions et l'évaluation des assistants virtuels. MASSIVE contient 1 million d'expressions réalistes, parallèles et étiquetées d'assistants virtuels, couvrant 51 langues, 18 domaines, 60 intentions et 55 slots. Ce jeu de données a été créé en chargeant des traducteurs professionnels de localiser le jeu de données SLURP uniquement en anglais dans 50 langues typologiquement diverses provenant de 29 groupes linguistiques. Nous présentons également les résultats des modèles sur XLM-R et mT5, y compris la précision du match exact, la précision de classification d'intentions et le score F1 de remplissage de slots. Nous avons rendu notre jeu de données, notre code de modélisation et nos modèles publiquement disponibles.