Code Generation On Codexglue Codesearchnet
評価指標
Java/BLEU
Java/CodeBLEU
Java/EM
Python/BLEU
Python/CodeBLEU
Python/EM
評価結果
このベンチマークにおける各モデルのパフォーマンス結果
比較表
| モデル名 | Java/BLEU | Java/CodeBLEU | Java/EM | Python/BLEU | Python/CodeBLEU | Python/EM |
|---|---|---|---|---|---|---|
| retrieval-augmented-code-generation-and | 28.98 | 33.18 | 10.21 | 24.43 | 30.21 | 9.61 |
| gap-gen-guided-automatic-python-code | - | - | - | 22.3 | 24.1 | - |