AetherCode는 ByteDance와 MAP 팀이 2025년에 공개한 프로그래밍 경진대회 평가 데이터셋입니다. 관련 논문 결과는 다음과 같습니다.AetherCode: 프리미어 프로그래밍 경연대회에서 LLM의 우승 능력 평가"는 IOI, ICPC, USACO 등의 최고 대회에서 출제된 어려운 문제와 전문가가 검증한 고품질 테스트 사례를 통해 대규모 모델의 알고리즘 추론 및 코딩 역량을 보다 현실적으로 평가하는 것을 목표로 합니다.

이 데이터 세트는 세계 최고의 프로그래밍 경연 대회에서 수집되었으며, 400개의 문제가 있는 v1_2024(공개 세트)와 56개의 문제가 있는 v1_2025(비공개 세트)의 두 부분으로 구성됩니다.공개 세트에는 완전한 테스트 케이스와 체커가 포함되어 있는 반면, 비공개 세트에는 테스트 케이스가 포함되지 않고 블라인드 평가를 위한 것입니다.문제는 기본, 검색, 동적 프로그래밍(DP), 문자열(Str.), 수학, 데이터 구조(DS), 그래프(Graph), 기하학(Geo.), 기술(Tech.) 및 트리의 10개 범주를 다룹니다.이 데이터 세트는 권위 있는 질문, 광범위한 범위 및 높은 수준의 난이도를 특징으로 합니다.문제는 Markdown+LaTeX로 포맷되어 있으며, 테스트 케이스는 자동으로 생성되어 전문가가 검토합니다.코드 생성 및 알고리즘 추론 평가, 경연 대회 수준의 기능 비교 및 모델 진행 상황 추적과 같은 시나리오에 적합합니다.

데이터 난이도 분포:

• 쉬움: 159개 문제

• 매체: 145개 질문

• 어려움: 132개 문제

• 익스트림: 20개의 질문