Reading Comprehension On Muserc
評価指標
Average F1
EM
評価結果
このベンチマークにおける各モデルのパフォーマンス結果
比較表
| モデル名 | Average F1 | EM |
|---|---|---|
| russiansuperglue-a-russian-language | 0.587 | 0.242 |
| russiansuperglue-a-russian-language | 0.806 | 0.42 |
| モデル 3 | 0.687 | 0.278 |
| モデル 4 | 0.76 | 0.427 |
| unreasonable-effectiveness-of-rule-based | 0.45 | 0.071 |
| モデル 6 | 0.769 | 0.446 |
| モデル 7 | 0.646 | 0.327 |
| mt5-a-massively-multilingual-pre-trained-text | 0.844 | 0.543 |
| モデル 9 | 0.83 | 0.561 |
| モデル 10 | 0.742 | 0.399 |
| モデル 11 | 0.729 | 0.333 |
| モデル 12 | 0.673 | 0.364 |
| モデル 13 | 0.706 | 0.308 |
| モデル 14 | 0.642 | 0.319 |
| モデル 15 | 0.941 | 0.819 |
| モデル 16 | 0.639 | 0.239 |
| モデル 17 | 0.815 | 0.537 |
| モデル 18 | 0.653 | 0.221 |
| unreasonable-effectiveness-of-rule-based | 0.671 | 0.237 |
| モデル 20 | 0.74 | 0.546 |
| unreasonable-effectiveness-of-rule-based | 0.0 | 0.0 |
| モデル 22 | 0.711 | 0.324 |