Openapi Code Completion On Openapi Code
평가 지표
Correctness, avg., %
Correctness, max., %
Validness, avg., %
Validness, max., %
평가 결과
이 벤치마크에서 각 모델의 성능 결과
비교 표
| 모델 이름 | Correctness, avg., % | Correctness, max., % | Validness, avg., % | Validness, max., % |
|---|---|---|---|---|
| optimizing-large-language-models-for-openapi | 31.1 | 36 | 60.7 | 64 |
| optimizing-large-language-models-for-openapi | 34 | 42 | 69.1 | 76 |
| optimizing-large-language-models-for-openapi | 29 | 29 | 68 | 68 |
| optimizing-large-language-models-for-openapi | 32 | 45 | 63.1 | 84 |