Code Generation On Concode
評価指標
BLEU
CodeBLEU
Exact Match
評価結果
このベンチマークにおける各モデルのパフォーマンス結果
比較表
| モデル名 | BLEU | CodeBLEU | Exact Match |
|---|---|---|---|
| retrieval-augmented-code-generation-and | 42.5 | 43.4 | 23.4 |
| codet5-identifier-aware-unified-pre-trained | 41.48 | 44.10 | 22.70 |
このベンチマークにおける各モデルのパフォーマンス結果
| モデル名 | BLEU | CodeBLEU | Exact Match |
|---|---|---|---|
| retrieval-augmented-code-generation-and | 42.5 | 43.4 | 23.4 |
| codet5-identifier-aware-unified-pre-trained | 41.48 | 44.10 | 22.70 |