AetherCode est un ensemble de données d'évaluation de compétition de programmation publié par ByteDance et l'équipe MAP en 2025. Les résultats de l'article associé sont "AetherCode : Évaluation de la capacité des LLM à remporter des concours de programmation de premier plan", qui vise à évaluer de manière plus réaliste les capacités de raisonnement algorithmique et de codage des grands modèles à travers des questions difficiles issues de compétitions de haut niveau telles que IOI, ICPC, USACO et des cas de test de haute qualité vérifiés par des experts.

Cet ensemble de données, issu des plus grandes compétitions mondiales de programmation, se compose de deux parties : v1_2024 (ensemble public) avec 400 problèmes et v1_2025 (ensemble privé) avec 56 problèmes. L'ensemble public comprend des cas de test complets et des vérificateurs, tandis que l'ensemble privé n'en comprend pas et est destiné à une évaluation en aveugle. Les questions couvrent dix catégories : Base, Recherche, Programmation dynamique (DP), Chaînes de caractères (Str.), Mathématiques, Structures de données (DS), Graphiques (Graph), Géométrie (Geo.), Technologie (Tech.) et Arbres. Cet ensemble de données propose des questions de référence, une couverture complète et un niveau de difficulté élevé. Les questions sont formatées en Markdown+LaTeX, et les cas de test sont automatiquement générés et révisés par des experts. Il est adapté à des scénarios tels que la génération de code et l'évaluation du raisonnement algorithmique, la comparaison des capacités au niveau de la compétition et le suivi de la progression des modèles.

Répartition de la difficulté des données :

• Facile : 159 questions

• Moyen : 145 questions

• Difficile : 132 questions

• Extrême : 20 questions