Program Synthesis On Spoc Testp
評価指標
Success rate @budget 100
評価結果
このベンチマークにおける各モデルのパフォーマンス結果
比較表
| モデル名 | Success rate @budget 100 |
|---|---|
| graph-based-self-supervised-program-repair | 38.5 |
| spoc-search-based-pseudocode-to-code | 34.2 |
このベンチマークにおける各モデルのパフォーマンス結果
| モデル名 | Success rate @budget 100 |
|---|---|
| graph-based-self-supervised-program-repair | 38.5 |
| spoc-search-based-pseudocode-to-code | 34.2 |