Fact Verification On Kilt Fever
評価指標
Accuracy
KILT-AC
R-Prec
Recall@5
評価結果
このベンチマークにおける各モデルのパフォーマンス結果
比較表
| モデル名 | Accuracy | KILT-AC | R-Prec | Recall@5 |
|---|---|---|---|---|
| モデル 1 | 85.58 | 64.41 | 75.6 | 84.95 |
| モデル 2 | 89.54 | 71.28 | 81.45 | 89.56 |
| モデル 3 | 66.1 | 41.88 | 49.24 | 70.16 |
| モデル 4 | 69.41 | 0.0 | 0.0 | 0.0 |
| モデル 5 | 70.71 | 0.0 | 0.0 | 0.0 |
| モデル 6 | 12.57 | 0.0 | 0.0 | 0.0 |
| モデル 7 | 78.93 | 0.0 | 0.0 | 0.0 |
| モデル 8 | 71.42 | 0.0 | 0.0 | 0.0 |
| モデル 9 | 88.99 | 65.68 | 74.77 | 87.89 |
| モデル 10 | 72.34 | 0.0 | 0.0 | 0.0 |
| kilt-a-benchmark-for-knowledge-intensive | 76.3 | 0.0 | 0.0 | 0.0 |
| kilt-a-benchmark-for-knowledge-intensive | 86.31 | 53.45 | 61.94 | 75.55 |
| モデル 13 | 71.38 | 0.0 | 0.0 | 0.0 |
| モデル 14 | 69.68 | 58.58 | 72.93 | 73.52 |
| re2g-retrieve-rerank-generate-2 | 89.55 | 78.53 | 88.92 | 92.52 |
| モデル 16 | 23.01 | 0.0 | 0.0 | 0.0 |
| モデル 17 | 86.74 | 47.68 | 55.33 | 74.29 |
| モデル 18 | 71.12 | 0.0 | 0.0 | 0.0 |
| モデル 19 | 86.32 | 63.94 | 74.48 | 87.52 |
| モデル 20 | 0.0 | 0.0 | 74.48 | 87.52 |
| モデル 21 | 0.0 | 0.0 | 83.64 | 88.15 |
| モデル 22 | 88.45 | 0.0 | 0.0 | 0.0 |
| モデル 23 | 61.6 | 0.0 | 0.0 | 0.0 |
| モデル 24 | 71.24 | 0.0 | 0.0 | 0.0 |
| モデル 25 | 71.58 | 0.0 | 0.0 | 0.0 |
| モデル 26 | 67.98 | 0.0 | 0.0 | 0.0 |
| モデル 27 | 68.43 | 0.0 | 0.0 | 0.0 |
| モデル 28 | 0.0 | 0.0 | 84.45 | 88.62 |
| モデル 29 | 33.58 | 0.0 | 0.0 | 0.0 |
| モデル 30 | 69.71 | 0.0 | 0.0 | 0.0 |
| モデル 31 | 89.12 | 0.0 | 0.0 | 0.0 |
| モデル 32 | 76.26 | 0.0 | 0.0 | 0.0 |
| モデル 33 | 0.0 | 0.0 | 84.07 | 89.41 |