Code Generation On Codexglue Codesearchnet
评估指标
Java/BLEU
Java/CodeBLEU
Java/EM
Python/BLEU
Python/CodeBLEU
Python/EM
评测结果
各个模型在此基准测试上的表现结果
比较表格
| 模型名称 | Java/BLEU | Java/CodeBLEU | Java/EM | Python/BLEU | Python/CodeBLEU | Python/EM |
|---|---|---|---|---|---|---|
| retrieval-augmented-code-generation-and | 28.98 | 33.18 | 10.21 | 24.43 | 30.21 | 9.61 |
| gap-gen-guided-automatic-python-code | - | - | - | 22.3 | 24.1 | - |