AetherCodeは、ByteDanceとMAPチームが2025年にリリースしたプログラミング競技評価データセットです。関連する論文結果は「AetherCode: プレミアプログラミングコンテストにおけるLLMの勝利能力の評価IOI、ICPC、USACOなどのトップコンテストからの難しい問題と、専門家によって検証された高品質のテストケースを通じて、大規模モデルのアルゴリズムの推論とコーディング機能をより現実的に評価することを目的としています。 このデータセットは、世界トップクラスのプログラミングコンテストから収集されたもので、400問の問題を含むv1_2024（公開セット）と56問の問題を含むv1_2025（非公開セット）の2つの部分で構成されています。公開セットには完全なテストケースとチェッカーが含まれていますが、非公開セットにはテストケースが含まれず、ブラインド評価を目的としています。問題は、基本、検索、動的計画法（DP）、文字列（Str.）、数学、データ構造（DS）、グラフ（Graph）、幾何学（Geo.）、テクノロジー（Tech.）、ツリーの10のカテゴリを網羅しています。このデータセットは、権威ある問題、広範な範囲、高い難易度を特徴としています。問題はMarkdown+LaTeX形式でフォーマットされ、テストケースは専門家によって自動的に生成およびレビューされます。コード生成とアルゴリズム推論評価、競技レベルの能力比較、モデルの進捗状況の追跡などのシナリオに適しています。

データ難易度分布:

• 簡単：159問
• 中級：145問
• 難しい：132問
• エクストリーム：20の質問

引用

@misc{aethercode,
title={AetherCode: Evaluating LLMs' Ability to Win In Premier Programming Competitions},
author={Zihan Wang and Jiaze Chen and Zhicheng Liu and Markus Mak and Yidi Du and Geonsik Moon and Luoqi Xu and Aaron Tua and Kunshuo Peng and Jiayi Lu and Mingfei Xia and Boqian Zou and Chenyang Ran and Guang Tian and Shoutai Zhu and Yeheng Duan and Zhenghui Kang and Zhenxing Lin and Shangshu Li and Qiang Luo and Qingshen Long and Zhiyong Chen and Yihan Xiao and Yurong Wu and Daoguang Zan and Yuyi Fu and Mingxuan Wang and Ming Ding},
year={2025},
eprint={2508.16402},
archivePrefix={arXiv},
primaryClass={cs.SE},
url={https://arxiv.org/abs/2508.16402},
}