AetherCode 是由字节跳动联合 M-A-P 团队于 2025 年发布的一个编程竞赛评测数据集，相关论文成果为「AetherCode: Evaluating LLMs’ Ability to Win In Premier Programming Competitions」，旨在通过来自 IOI 、 ICPC 、 USACO 等顶级赛事的高难度题目与专家验证的高质量测试用例，更真实地评测大模型的算法推理与代码能力。 数据来自全球顶级编程竞赛，由两部分组成：v1_2024（公开集）400 题与 v1_2025（私有集）56 题。公开集提供完整测试用例与 checker，私有集不含测试用例，用于盲评。题目覆盖基础（Basic）、搜索（Search）、动态规划（DP）、字符串（Str.）、数学（Math）、数据结构（DS）、图（Graph）、几何（Geo.）、技术（Tech.）、树（Tree）十大类别。数据集题源权威、覆盖面广、难度高，题面统一为 Markdown+LaTeX 格式，测试用例自动生成并由专家复核，适用于代码生成/算法推理评测、竞赛级能力对比与模型进步追踪等场景。

数据难度分布：

• 简单（Easy）：159 题
• 中等（Medium）：145 题
• 困难（Hard）：132 题
• 极难（Extreme）：20 题

Citation

@misc{aethercode,
title={AetherCode: Evaluating LLMs' Ability to Win In Premier Programming Competitions},
author={Zihan Wang and Jiaze Chen and Zhicheng Liu and Markus Mak and Yidi Du and Geonsik Moon and Luoqi Xu and Aaron Tua and Kunshuo Peng and Jiayi Lu and Mingfei Xia and Boqian Zou and Chenyang Ran and Guang Tian and Shoutai Zhu and Yeheng Duan and Zhenghui Kang and Zhenxing Lin and Shangshu Li and Qiang Luo and Qingshen Long and Zhiyong Chen and Yihan Xiao and Yurong Wu and Daoguang Zan and Yuyi Fu and Mingxuan Wang and Ming Ding},
year={2025},
eprint={2508.16402},
archivePrefix={arXiv},
primaryClass={cs.SE},
url={https://arxiv.org/abs/2508.16402},
}