Open Domain Question Answering On Kilt Eli5
평가 지표
F1
KILT-F1
KILT-RL
R-Prec
ROUGE-L
Recall@5
평가 결과
이 벤치마크에서 각 모델의 성능 결과
비교 표
| 모델 이름 | F1 | KILT-F1 | KILT-RL | R-Prec | ROUGE-L | Recall@5 |
|---|---|---|---|---|---|---|
| kilt-a-benchmark-for-knowledge-intensive | 16.1 | 0.0 | 0.0 | 0.0 | 19.08 | 0.0 |
| 모델 2 | 0.0 | 0.0 | 0.0 | 15.83 | 0.0 | 25.49 |
| 모델 3 | 0.0 | 0.0 | 0.0 | 17.5 | 0.0 | 25.54 |
| 모델 4 | 15.91 | 2.38 | 2.46 | 14.83 | 16.45 | 27.69 |
| 모델 5 | 14.51 | 1.79 | 1.69 | 11.0 | 14.05 | 22.92 |
| hurdles-to-progress-in-long-form-question | 22.88 | 2.34 | 2.36 | 10.67 | 23.19 | 24.56 |
| 모델 7 | 19.23 | 0.0 | 0.0 | 0.0 | 20.55 | 0.0 |
| 모델 8 | 21.62 | 0.0 | 0.0 | 0.0 | 18.66 | 0.0 |
| 모델 9 | 15.29 | 0.0 | 0.0 | 0.0 | 15.76 | 0.0 |
| 모델 10 | 27.13 | 3.0 | 2.62 | 10.83 | 24.53 | 27.25 |
| 모델 11 | 0.0 | 0.0 | 0.0 | 18.33 | 0.0 | 28.21 |
| 모델 12 | 16.4 | 0.0 | 0.0 | 0.0 | 17.67 | 0.0 |
| 모델 13 | 17.88 | 2.01 | 1.9 | 10.67 | 17.41 | 26.92 |
| 모델 14 | 14.8 | 0.0 | 0.0 | 0.0 | 16.88 | 0.0 |
| 모델 15 | 17.07 | 0.0 | 0.0 | 0.0 | 15.45 | 0.0 |
| 모델 16 | 0.0 | 0.0 | 0.0 | 15.5 | 0.0 | 27.51 |