AetherCodeは、ByteDanceとMAPチームが2025年にリリースしたプログラミング競技評価データセットです。関連する論文結果は「AetherCode: プレミアプログラミングコンテストにおけるLLMの勝利能力の評価IOI、ICPC、USACOなどのトップコンテストからの難しい問題と、専門家によって検証された高品質のテストケースを通じて、大規模モデルのアルゴリズムの推論とコーディング機能をより現実的に評価することを目的としています。

このデータセットは、世界トップクラスのプログラミングコンテストから収集されたもので、400問の問題を含むv1_2024（公開セット）と56問の問題を含むv1_2025（非公開セット）の2つの部分で構成されています。公開セットには完全なテストケースとチェッカーが含まれていますが、非公開セットにはテストケースが含まれず、ブラインド評価を目的としています。問題は、基本、検索、動的計画法（DP）、文字列（Str.）、数学、データ構造（DS）、グラフ（Graph）、幾何学（Geo.）、テクノロジー（Tech.）、ツリーの10のカテゴリを網羅しています。このデータセットは、権威ある問題、広範な範囲、高い難易度を特徴としています。問題はMarkdown+LaTeX形式でフォーマットされ、テストケースは専門家によって自動的に生成およびレビューされます。コード生成とアルゴリズム推論評価、競技レベルの能力比較、モデルの進捗状況の追跡などのシナリオに適しています。

データ難易度分布:

• 簡単：159問

• 中級：145問

• 難しい：132問

• エクストリーム：20の質問