LiveCodeBench-CPP

LiveCodeBench-CPP는 NVIDIA가 2025년에 출시한 C++ 코드 생성 평가 데이터셋으로, 대규모 언어 모델을 위한 최신 프로그래밍 문제 기반 코드 생성 및 디버깅 능력 평가 벤치마크를 제공합니다.

이 데이터셋은 총 454개의 프로그래밍 문제로 구성되어 있으며, 주로 AtCoder(287문제)와 LeetCode(167문제)에서 수집되었고, 2024년 10월부터 2025년 5월까지의 대회 및 문제를 포함합니다. 데이터에는 문제 설명, 플랫폼 출처, 난이도, 테스트 케이스 및 관련 메타데이터가 포함되어 있으며, 주로 실제 프로그래밍 작업에서 모델의 코드 생성 및 문제 해결 능력을 평가하는 데 사용됩니다.

데이터셋 구성

• question_title: 프로그래밍 문제 제목.
• question_content: 문제 설명.
• platform: 문제 출처 플랫폼(AtCoder 및 LeetCode 포함).
• question_id: 문제 고유 식별자.
• contest_id: 대회 고유 식별자.
• contest_date: 대회 날짜.
• starter_code: 코드 템플릿 또는 함수 시그니처.
• difficulty: 문제 난이도.
• public_test_cases: 공개 테스트 케이스.
• private_test_cases: 비공개 테스트 케이스.
• metadata: 문제 관련 메타데이터.