Program Synthesis On Spoc Testp
평가 지표
Success rate @budget 100
평가 결과
이 벤치마크에서 각 모델의 성능 결과
비교 표
| 모델 이름 | Success rate @budget 100 |
|---|---|
| graph-based-self-supervised-program-repair | 38.5 |
| spoc-search-based-pseudocode-to-code | 34.2 |
이 벤치마크에서 각 모델의 성능 결과
| 모델 이름 | Success rate @budget 100 |
|---|---|
| graph-based-self-supervised-program-repair | 38.5 |
| spoc-search-based-pseudocode-to-code | 34.2 |