Code Generation On Dseval Leetcode
평가 지표
Pass Rate
w/o Intact
w/o PE
평가 결과
이 벤치마크에서 각 모델의 성능 결과
모델 이름 | Pass Rate | w/o Intact | w/o PE | Paper Title | Repository |
|---|---|---|---|---|---|
| CoML | 42.5 | 42.5 | 62.5 | MLCopilot: Unleashing the Power of Large Language Models in Solving Machine Learning Tasks | - |
| Code Interpreter API | 45.0 | 45.0 | 55.0 | - | - |
| ChatDev | 32.5 | 32.5 | 50.0 | - | - |
| Chapyter | 45.0 | 45.0 | 60.0 | - | - |
| Jupyter-AI | 57.5 | 57.5 | 70.0 | - | - |
0 of 5 row(s) selected.