Code Generation On Taco Code
評価指標
easy pass@1
評価結果
このベンチマークにおける各モデルのパフォーマンス結果
比較表
| モデル名 | easy pass@1 |
|---|---|
| taco-topics-in-algorithmic-code-generation | 9.32% |
| taco-topics-in-algorithmic-code-generation | 11.6% |
| taco-topics-in-algorithmic-code-generation | 31.50% |
このベンチマークにおける各モデルのパフォーマンス結果
| モデル名 | easy pass@1 |
|---|---|
| taco-topics-in-algorithmic-code-generation | 9.32% |
| taco-topics-in-algorithmic-code-generation | 11.6% |
| taco-topics-in-algorithmic-code-generation | 31.50% |