LiveCodeBench-CPP

LiveCodeBench-CPP は、NVIDIA が 2025 年に公開した C++ コード生成評価データセットであり、大規模言語モデル向けに最新のプログラミング問題に基づくコード生成・デバッグ能力の評価ベンチマークを提供することを目的としています。

このデータセットには 454 問のプログラミング問題が含まれており、主に AtCoder（287 問）と LeetCode（167 問）から構成され、2024 年 10 月から 2025 年 5 月までのコンテストおよび問題をカバーしています。データには、問題文、プラットフォーム情報、難易度、テストケース、関連メタデータが含まれており、主に実在するプログラミングタスクにおけるモデルのコード生成能力と問題解決能力を評価するために使用されます。

データセット構成

• question_title：プログラミング問題のタイトル。
• question_content：問題の説明。
• platform：問題の出題プラットフォーム。AtCoder と LeetCode が含まれます。
• question_id：問題の一意の識別子。
• contest_id：コンテストの一意の識別子。
• contest_date：コンテストの開催日。
• starter_code：コードテンプレートまたは関数シグネチャ。
• difficulty：問題の難易度。
• public_test_cases：公開テストケース。
• private_test_cases：非公開テストケース。
• metadata：問題に関連するメタデータ。