Reading Comprehension On Muserc
평가 지표
Average F1
EM
평가 결과
이 벤치마크에서 각 모델의 성능 결과
비교 표
| 모델 이름 | Average F1 | EM |
|---|---|---|
| russiansuperglue-a-russian-language | 0.587 | 0.242 |
| russiansuperglue-a-russian-language | 0.806 | 0.42 |
| 모델 3 | 0.687 | 0.278 |
| 모델 4 | 0.76 | 0.427 |
| unreasonable-effectiveness-of-rule-based | 0.45 | 0.071 |
| 모델 6 | 0.769 | 0.446 |
| 모델 7 | 0.646 | 0.327 |
| mt5-a-massively-multilingual-pre-trained-text | 0.844 | 0.543 |
| 모델 9 | 0.83 | 0.561 |
| 모델 10 | 0.742 | 0.399 |
| 모델 11 | 0.729 | 0.333 |
| 모델 12 | 0.673 | 0.364 |
| 모델 13 | 0.706 | 0.308 |
| 모델 14 | 0.642 | 0.319 |
| 모델 15 | 0.941 | 0.819 |
| 모델 16 | 0.639 | 0.239 |
| 모델 17 | 0.815 | 0.537 |
| 모델 18 | 0.653 | 0.221 |
| unreasonable-effectiveness-of-rule-based | 0.671 | 0.237 |
| 모델 20 | 0.74 | 0.546 |
| unreasonable-effectiveness-of-rule-based | 0.0 | 0.0 |
| 모델 22 | 0.711 | 0.324 |