Code Generation On Codexglue Codesearchnet
평가 지표
Java/BLEU
Java/CodeBLEU
Java/EM
Python/BLEU
Python/CodeBLEU
Python/EM
평가 결과
이 벤치마크에서 각 모델의 성능 결과
비교 표
| 모델 이름 | Java/BLEU | Java/CodeBLEU | Java/EM | Python/BLEU | Python/CodeBLEU | Python/EM |
|---|---|---|---|---|---|---|
| retrieval-augmented-code-generation-and | 28.98 | 33.18 | 10.21 | 24.43 | 30.21 | 9.61 |
| gap-gen-guided-automatic-python-code | - | - | - | 22.3 | 24.1 | - |