Openapi Code Completion On Openapi Code
Métriques
Correctness, avg., %
Correctness, max., %
Validness, avg., %
Validness, max., %
Résultats
Résultats de performance de divers modèles sur ce benchmark
Tableau comparatif
| Nom du modèle | Correctness, avg., % | Correctness, max., % | Validness, avg., % | Validness, max., % |
|---|---|---|---|---|
| optimizing-large-language-models-for-openapi | 31.1 | 36 | 60.7 | 64 |
| optimizing-large-language-models-for-openapi | 34 | 42 | 69.1 | 76 |
| optimizing-large-language-models-for-openapi | 29 | 29 | 68 | 68 |
| optimizing-large-language-models-for-openapi | 32 | 45 | 63.1 | 84 |