Code Generation On Dseval Leetcode
평가 지표
Pass Rate
w/o Intact
w/o PE
평가 결과
이 벤치마크에서 각 모델의 성능 결과
비교 표
| 모델 이름 | Pass Rate | w/o Intact | w/o PE |
|---|---|---|---|
| mlcopilot-unleashing-the-power-of-large | 42.5 | 42.5 | 62.5 |
| 모델 2 | 45.0 | 45.0 | 55.0 |
| 모델 3 | 32.5 | 32.5 | 50.0 |
| 모델 4 | 45.0 | 45.0 | 60.0 |
| 모델 5 | 57.5 | 57.5 | 70.0 |