LiveCodeBench-CPP

LiveCodeBench-CPP ist ein von NVIDIA im Jahr 2025 veröffentlichtes C++-Codegenerierungs-Benchmark-Dataset, das darauf abzielt, eine Bewertungsgrundlage für die Codegenerierungs- und Debugging-Fähigkeiten großer Sprachmodelle auf Basis aktueller Programmieraufgaben bereitzustellen.

Das Dataset umfasst 454 Programmieraufgaben, die hauptsächlich von AtCoder (287 Aufgaben) und LeetCode (167 Aufgaben) stammen und den Zeitraum von Oktober 2024 bis Mai 2025 abdecken. Die Daten enthalten Aufgabenbeschreibungen, Plattformquellen, Schwierigkeitsgrade, Testfälle und zugehörige Metadaten und werden hauptsächlich verwendet, um die Codegenerierungs- und Problemlösungsfähigkeiten von Modellen in realen Programmieraufgaben zu bewerten.

Zusammensetzung des Datasets

• question_title: Titel der Programmieraufgabe.
• question_content: Beschreibung der Aufgabe.
• platform: Ursprungsplattform der Aufgabe, einschließlich AtCoder und LeetCode.
• question_id: Eindeutige Kennung der Aufgabe.
• contest_id: Eindeutige Kennung des Wettbewerbs.
• contest_date: Datum des Wettbewerbs.
• starter_code: Codevorlage oder Funktionssignatur.
• difficulty: Schwierigkeitsgrad der Aufgabe.
• public_test_cases: Öffentliche Testfälle.
• private_test_cases: Private Testfälle.
• metadata: Mit der Aufgabe verbundene Metadaten.