Common Sense Reasoning On Rucos
Métriques
Average F1
EM
Résultats
Résultats de performance de divers modèles sur ce benchmark
Tableau comparatif
| Nom du modèle | Average F1 | EM |
|---|---|---|
| Modèle 1 | 0.74 | 0.716 |
| Modèle 2 | 0.21 | 0.202 |
| Modèle 3 | 0.29 | 0.29 |
| Modèle 4 | 0.68 | 0.658 |
| Modèle 5 | 0.92 | 0.924 |
| Modèle 6 | 0.73 | 0.716 |
| Modèle 7 | 0.86 | 0.859 |
| Modèle 8 | 0.21 | 0.204 |
| Modèle 9 | 0.67 | 0.665 |
| mt5-a-massively-multilingual-pre-trained-text | 0.57 | 0.562 |
| russiansuperglue-a-russian-language | 0.93 | 0.89 |
| Modèle 12 | 0.79 | 0.752 |
| unreasonable-effectiveness-of-rule-based | 0.25 | 0.247 |
| Modèle 14 | 0.23 | 0.224 |
| russiansuperglue-a-russian-language | 0.26 | 0.252 |
| unreasonable-effectiveness-of-rule-based | 0.26 | 0.257 |
| Modèle 17 | 0.32 | 0.314 |
| Modèle 18 | 0.35 | 0.347 |
| Modèle 19 | 0.36 | 0.351 |
| Modèle 20 | 0.81 | 0.764 |
| Modèle 21 | 0.22 | 0.218 |
| unreasonable-effectiveness-of-rule-based | 0.25 | 0.247 |