LongBench-Pro ist ein 2025 veröffentlichter Datensatz zur Evaluierung von Sprachmodellen für lange Kontexte. Ziel ist die systematische Bewertung der Fähigkeit des Modells, lange Texte unter verschiedenen Kontextlängen, Aufgabentypen und Betriebsbedingungen zu verstehen und zu verarbeiten.

Dieser Datensatz umfasst 1.500 Beispiele, darunter 11 Aufgaben der Stufe 1 und 25 Aufgaben der Stufe 2. Die Aufgaben sind anhand ihrer Kontextnutzung in Vollkontext- und Teilkontextaufgaben unterteilt. Er enthält sowohl englische als auch chinesische Beispiele mit einer ausgewogenen Verteilung beider Sprachen. Der Schwierigkeitsgrad der Aufgaben ist in vier Stufen eingeteilt: Leicht, Mittel, Schwer und Extrem. Hinsichtlich der Kontextlänge decken die Beispiele sechs Längenbereiche von 8.000 bis 256.000 Token ab und sind gleichmäßig verteilt.