Code Generation On Codexglue Codesearchnet
Metriken
Java/BLEU
Java/CodeBLEU
Java/EM
Python/BLEU
Python/CodeBLEU
Python/EM
Ergebnisse
Leistungsergebnisse verschiedener Modelle zu diesem Benchmark
Vergleichstabelle
| Modellname | Java/BLEU | Java/CodeBLEU | Java/EM | Python/BLEU | Python/CodeBLEU | Python/EM |
|---|---|---|---|---|---|---|
| retrieval-augmented-code-generation-and | 28.98 | 33.18 | 10.21 | 24.43 | 30.21 | 9.61 |
| gap-gen-guided-automatic-python-code | - | - | - | 22.3 | 24.1 | - |