Extreme Summarization On Gem Xsum
평가 지표
Parameters
ROUGE-2
평가 결과
이 벤치마크에서 각 모델의 성능 결과
비교 표
| 모델 이름 | Parameters | ROUGE-2 |
|---|---|---|
| the-gem-benchmark-natural-language-generation | 568 M | 23.2 |
| palm-scaling-language-modeling-with-pathways-1 | 540 B | 21.2 |
| palm-scaling-language-modeling-with-pathways-1 | - | 21.0 |
| byt5-towards-a-token-free-future-with-pre | - | - |
| palm-scaling-language-modeling-with-pathways-1 | 62 B | 18.5 |
| byt5-towards-a-token-free-future-with-pre | - | - |