Openapi Code Completion On Openapi Code
評価指標
Correctness, avg., %
Correctness, max., %
Validness, avg., %
Validness, max., %
評価結果
このベンチマークにおける各モデルのパフォーマンス結果
比較表
| モデル名 | Correctness, avg., % | Correctness, max., % | Validness, avg., % | Validness, max., % |
|---|---|---|---|---|
| optimizing-large-language-models-for-openapi | 31.1 | 36 | 60.7 | 64 |
| optimizing-large-language-models-for-openapi | 34 | 42 | 69.1 | 76 |
| optimizing-large-language-models-for-openapi | 29 | 29 | 68 | 68 |
| optimizing-large-language-models-for-openapi | 32 | 45 | 63.1 | 84 |