LongBench-Pro est un jeu de données publié en 2025 pour l'évaluation des modèles de langage à contexte long. Il vise à évaluer systématiquement la capacité du modèle à comprendre et à traiter des textes longs dans des contextes de longueurs variées, selon le type de tâche et les conditions d'utilisation.

Cet ensemble de données contient 1 500 exemples, dont 11 tâches de niveau 1 et 25 tâches de niveau 2. Les tâches sont classées en tâches à contexte complet et tâches à contexte partiel selon leur utilisation du contexte. Il comprend des exemples en anglais et en chinois, avec une répartition équilibrée des données dans les deux langues. La difficulté des tâches est classée en quatre niveaux : facile, moyen, difficile et extrêmement difficile. Concernant la longueur du contexte, les exemples couvrent six intervalles de longueur, allant de 8 000 à 256 000 jetons, et sont répartis de manière homogène.