Code Generation
Benchmark-Liste
Alle Benchmarks für diese Aufgabe
android-repos
Bestes Modell: Entity Type Model
Metriken
Details anzeigen
apps
Bestes Modell: MapCoder APPS-150-cherrypicked (GPT-4)
Metriken
Details anzeigen
bigcodebench-instruct
Bestes Modell: GPT-4o-2024-05-13
Metriken
Details anzeigen
codecontests
Bestes Modell: MapCoder (GPT-4)
Metriken
Details anzeigen
codexglue-codesearchnet
Bestes Modell: Redcoder-ext
Metriken
Details anzeigen
conala
Bestes Modell: MarianCG
Metriken
Details anzeigen
conala-ext
Bestes Modell: BART W/ Mined
Metriken
Details anzeigen
django
Bestes Modell: MarianCG
Metriken
Details anzeigen
floco
Bestes Modell: FloCo-T5
Metriken
Details anzeigen
humaneval
Bestes Modell: AgentCoder (GPT-4)
Metriken
Details anzeigen
livecodebench
Bestes Modell: LPW (GPT-4o)
Metriken
Details anzeigen
pecc
Bestes Modell: Claude 3 Haiku
Metriken
Details anzeigen
res-q
Bestes Modell: QurrentOS-coder + Claude 3.5 Sonnet
Metriken
Details anzeigen
shellcode-ia32
Bestes Modell: CodeBERT
Metriken
Details anzeigen
taco-topics-in-algorithmic-code-generation
Bestes Modell: GPT-4
Metriken
Details anzeigen
turbulence
Bestes Modell: GPT-4
Metriken
Details anzeigen
verilogeval
Bestes Modell: Nexus (Claude 3.5 Sonnet)
Metriken
Details anzeigen
webapp1k-react
Bestes Modell: o1-preview
Metriken
Details anzeigen
wikisql
Bestes Modell: NL2SQL-RULE
Metriken
Details anzeigen
bigcodebench-complete
Metriken
Details anzeigen
concode
Metriken
Details anzeigen
dseval-leetcode
Metriken
Details anzeigen
mbpp
Metriken
Details anzeigen
multi-source-python-code-corpus
Metriken
Details anzeigen
verified-smart-contract-code-comments
Metriken
Details anzeigen
webapp1k-duo-react
Metriken
Details anzeigen