AetherCode ist ein Evaluierungsdatensatz für Programmierwettbewerbe, der 2025 von ByteDance und dem MAP-Team veröffentlicht wurde. Die zugehörigen Ergebnisse des Papiers lauten:AetherCode: Bewertung der Gewinnchancen von LLMs bei führenden Programmierwettbewerben", dessen Ziel es ist, die algorithmischen Denk- und Codierungsfähigkeiten großer Modelle anhand schwieriger Fragen aus Top-Wettbewerben wie IOI, ICPC, USACO und hochwertiger, von Experten überprüfter Testfälle realistischer zu bewerten. Dieser Datensatz stammt aus den weltweit führenden Programmierwettbewerben und besteht aus zwei Teilen: v1_2024 (öffentlicher Satz) mit 400 Problemen und v1_2025 (privater Satz) mit 56 Problemen. Der öffentliche Satz enthält vollständige Testfälle und Prüfer, während der private Satz keine Testfälle enthält und für eine Blindevaluierung vorgesehen ist. Die Fragen decken zehn Kategorien ab: Basic, Suche, Dynamische Programmierung (DP), Zeichenfolgen (Str.), Mathematik, Datenstrukturen (DS), Graphen (Graph), Geometrie (Geo.), Technologie (Tech.) und Bäume. Der Datensatz bietet maßgebliche Fragen, eine umfassende Abdeckung und einen hohen Schwierigkeitsgrad. Die Fragen sind in Markdown+LaTeX formatiert und Testfälle werden automatisch generiert und von Experten überprüft. Er eignet sich für Szenarien wie Codegenerierung und Evaluierung von Algorithmen, Leistungsvergleiche auf Wettbewerbsebene und Verfolgung des Modellfortschritts.

Datenschwierigkeitsverteilung:

• Einfach: 159 Fragen
• Mittel: 145 Fragen
• Schwer: 132 Fragen
• Extrem: 20 Fragen

Zitat

@misc{aethercode,
title={AetherCode: Evaluating LLMs' Ability to Win In Premier Programming Competitions},
author={Zihan Wang and Jiaze Chen and Zhicheng Liu and Markus Mak and Yidi Du and Geonsik Moon and Luoqi Xu and Aaron Tua and Kunshuo Peng and Jiayi Lu and Mingfei Xia and Boqian Zou and Chenyang Ran and Guang Tian and Shoutai Zhu and Yeheng Duan and Zhenghui Kang and Zhenxing Lin and Shangshu Li and Qiang Luo and Qingshen Long and Zhiyong Chen and Yihan Xiao and Yurong Wu and Daoguang Zan and Yuyi Fu and Mingxuan Wang and Ming Ding},
year={2025},
eprint={2508.16402},
archivePrefix={arXiv},
primaryClass={cs.SE},
url={https://arxiv.org/abs/2508.16402},
}