Knowledge Base Question Answering On Grailqa
평가 지표
Compositional EM
Compositional F1
I.I.D. EM
I.I.D. F1
Overall EM
Overall F1
Zero-shot EM
Zero-shot F1
평가 결과
이 벤치마크에서 각 모델의 성능 결과
비교 표
| 모델 이름 | Compositional EM | Compositional F1 | I.I.D. EM | I.I.D. F1 | Overall EM | Overall F1 | Zero-shot EM | Zero-shot F1 |
|---|---|---|---|---|---|---|---|---|
| retrack-a-flexible-and-efficient-framework | 61.5 | 70.9 | 84.4 | 87.5 | 58.1 | 65.3 | 44.6 | 52.5 |
| paths-over-graph-knowledge-graph-enpowered | - | - | - | - | - | - | - | - |