Text To Code Generation On Codexglue Concode
평가 지표
BLEU
CodeBLEU
EM
평가 결과
이 벤치마크에서 각 모델의 성능 결과
비교 표
| 모델 이름 | BLEU | CodeBLEU | EM |
|---|---|---|---|
| codet5-identifier-aware-unified-pre-trained | 41.48 | 44.10 | 22.70 |
| codexglue-a-machine-learning-benchmark | 32.79 | 27.74 | 20.1 |
이 벤치마크에서 각 모델의 성능 결과
| 모델 이름 | BLEU | CodeBLEU | EM |
|---|---|---|---|
| codet5-identifier-aware-unified-pre-trained | 41.48 | 44.10 | 22.70 |
| codexglue-a-machine-learning-benchmark | 32.79 | 27.74 | 20.1 |