AetherCode ist ein Evaluierungsdatensatz für Programmierwettbewerbe, der 2025 von ByteDance und dem MAP-Team veröffentlicht wurde. Die zugehörigen Ergebnisse des Papiers lauten:AetherCode: Bewertung der Gewinnchancen von LLMs bei führenden Programmierwettbewerben", dessen Ziel es ist, die algorithmischen Denk- und Codierungsfähigkeiten großer Modelle anhand schwieriger Fragen aus Top-Wettbewerben wie IOI, ICPC, USACO und hochwertiger, von Experten überprüfter Testfälle realistischer zu bewerten.

Dieser Datensatz stammt aus den weltweit führenden Programmierwettbewerben und besteht aus zwei Teilen: v1_2024 (öffentlicher Satz) mit 400 Problemen und v1_2025 (privater Satz) mit 56 Problemen. Der öffentliche Satz enthält vollständige Testfälle und Prüfer, während der private Satz keine Testfälle enthält und für eine Blindevaluierung vorgesehen ist. Die Fragen decken zehn Kategorien ab: Basic, Suche, Dynamische Programmierung (DP), Zeichenfolgen (Str.), Mathematik, Datenstrukturen (DS), Graphen (Graph), Geometrie (Geo.), Technologie (Tech.) und Bäume. Der Datensatz bietet maßgebliche Fragen, eine umfassende Abdeckung und einen hohen Schwierigkeitsgrad. Die Fragen sind in Markdown+LaTeX formatiert und Testfälle werden automatisch generiert und von Experten überprüft. Er eignet sich für Szenarien wie Codegenerierung und Evaluierung von Algorithmen, Leistungsvergleiche auf Wettbewerbsebene und Verfolgung des Modellfortschritts.

Datenschwierigkeitsverteilung:

• Einfach: 159 Fragen

• Mittel: 145 Fragen

• Schwer: 132 Fragen

• Extrem: 20 Fragen