HyperAI

Code Generation

Benchmark-Liste

Alle Benchmarks für diese Aufgabe

android-repos
Bestes Modell: Entity Type Model

Metriken

Details anzeigen
apps
Bestes Modell: MapCoder APPS-150-cherrypicked (GPT-4)

Metriken

Details anzeigen
bigcodebench-instruct
Bestes Modell: GPT-4o-2024-05-13

Metriken

Details anzeigen
codecontests
Bestes Modell: MapCoder (GPT-4)

Metriken

Details anzeigen
codexglue-codesearchnet
Bestes Modell: Redcoder-ext

Metriken

Details anzeigen
conala
Bestes Modell: MarianCG

Metriken

Details anzeigen
conala-ext
Bestes Modell: BART W/ Mined

Metriken

Details anzeigen
django
Bestes Modell: MarianCG

Metriken

Details anzeigen
floco
Bestes Modell: FloCo-T5

Metriken

Details anzeigen
humaneval
Bestes Modell: AgentCoder (GPT-4)

Metriken

Details anzeigen
livecodebench
Bestes Modell: LPW (GPT-4o)

Metriken

Details anzeigen
pecc
Bestes Modell: Claude 3 Haiku

Metriken

Details anzeigen
res-q
Bestes Modell: QurrentOS-coder + Claude 3.5 Sonnet

Metriken

Details anzeigen
shellcode-ia32
Bestes Modell: CodeBERT

Metriken

Details anzeigen
taco-topics-in-algorithmic-code-generation
Bestes Modell: GPT-4

Metriken

Details anzeigen
turbulence
Bestes Modell: GPT-4

Metriken

Details anzeigen
verilogeval
Bestes Modell: Nexus (Claude 3.5 Sonnet)

Metriken

Details anzeigen
webapp1k-react
Bestes Modell: o1-preview

Metriken

Details anzeigen
wikisql
Bestes Modell: NL2SQL-RULE

Metriken

Details anzeigen
bigcodebench-complete

Metriken

Details anzeigen
concode

Metriken

Details anzeigen
dseval-leetcode

Metriken

Details anzeigen
mbpp

Metriken

Details anzeigen
multi-source-python-code-corpus

Metriken

Details anzeigen
verified-smart-contract-code-comments

Metriken

Details anzeigen
webapp1k-duo-react

Metriken

Details anzeigen