Code Generation On Taco Code
평가 지표
easy pass@1
평가 결과
이 벤치마크에서 각 모델의 성능 결과
비교 표
| 모델 이름 | easy pass@1 |
|---|---|
| taco-topics-in-algorithmic-code-generation | 9.32% |
| taco-topics-in-algorithmic-code-generation | 11.6% |
| taco-topics-in-algorithmic-code-generation | 31.50% |
이 벤치마크에서 각 모델의 성능 결과
| 모델 이름 | easy pass@1 |
|---|---|
| taco-topics-in-algorithmic-code-generation | 9.32% |
| taco-topics-in-algorithmic-code-generation | 11.6% |
| taco-topics-in-algorithmic-code-generation | 31.50% |