Ensemble De Données De Recherche De Documents Multilingues MLDR

MLDR (Multilingual Long-Document Retrieval) est un ensemble de données de recherche de documents longs multilingues construit sur la base de Wikipédia, Wudao et du corpus multilingue mC4. Il vise à soutenir la recherche et le développement de tâches de recherche de textes longs inter-langues. Couvre 13 langues typologiquement distinctes, dont l'arabe (ar), l'allemand (de), l'anglais (en), l'espagnol (es), le français (fr), l'hindi (hi), l'italien (it), le japonais (ja), le coréen (ko), le portugais (pt), le russe (ru), le thaï (th) et le chinois (zh).

Caractéristiques et avantages :

• Large couverture multilingue : Il comprend 13 langues, couvrant plusieurs familles de langues (telles que l'indo-européen, le sino-tibétain, l'arabe, etc.).

• Fonctionnalité de document long : la longueur moyenne d'un document est de 4 737 mots, ce qui convient aux besoins de traitement de texte long dans des scénarios réels.

• Construction standardisée : générez des requêtes de haute qualité via GPT-3.5 pour garantir une forte pertinence des requêtes par rapport au contenu du document.