Code Generation
벤치마크 목록
해당 작업에 관련된 모든 벤치마크 목록
android-repos
최고 모델: Entity Type Model
평가 지표
세부 정보 보기
apps
최고 모델: MapCoder APPS-150-cherrypicked (GPT-4)
평가 지표
세부 정보 보기
bigcodebench-instruct
최고 모델: GPT-4o-2024-05-13
평가 지표
세부 정보 보기
codecontests
최고 모델: MapCoder (GPT-4)
평가 지표
세부 정보 보기
codexglue-codesearchnet
최고 모델: Redcoder-ext
평가 지표
세부 정보 보기
conala
최고 모델: MarianCG
평가 지표
세부 정보 보기
conala-ext
최고 모델: BART W/ Mined
평가 지표
세부 정보 보기
django
최고 모델: MarianCG
평가 지표
세부 정보 보기
floco
최고 모델: FloCo-T5
평가 지표
세부 정보 보기
humaneval
최고 모델: AgentCoder (GPT-4)
평가 지표
세부 정보 보기
livecodebench
최고 모델: LPW (GPT-4o)
평가 지표
세부 정보 보기
pecc
최고 모델: Claude 3 Haiku
평가 지표
세부 정보 보기
res-q
최고 모델: QurrentOS-coder + Claude 3.5 Sonnet
평가 지표
세부 정보 보기
shellcode-ia32
최고 모델: CodeBERT
평가 지표
세부 정보 보기
taco-topics-in-algorithmic-code-generation
최고 모델: GPT-4
평가 지표
세부 정보 보기
turbulence
최고 모델: GPT-4
평가 지표
세부 정보 보기
verilogeval
최고 모델: Nexus (Claude 3.5 Sonnet)
평가 지표
세부 정보 보기
webapp1k-react
최고 모델: o1-preview
평가 지표
세부 정보 보기
wikisql
최고 모델: NL2SQL-RULE
평가 지표
세부 정보 보기
bigcodebench-complete
평가 지표
세부 정보 보기
concode
평가 지표
세부 정보 보기
dseval-leetcode
평가 지표
세부 정보 보기
mbpp
평가 지표
세부 정보 보기
multi-source-python-code-corpus
평가 지표
세부 정보 보기
verified-smart-contract-code-comments
평가 지표
세부 정보 보기
webapp1k-duo-react
평가 지표
세부 정보 보기