Startseite Neuigkeiten Tutorials Datensätze Veranstaltungen Wiki SOTA LLM Modelle

Deutsch

Open Domain Question Answering On Kilt Eli5

Metriken

F1

KILT-F1

KILT-RL

R-Prec

ROUGE-L

Recall@5

Ergebnisse

Leistungsergebnisse verschiedener Modelle zu diesem Benchmark

Vergleichstabelle

Modellname	F1	KILT-F1	KILT-RL	R-Prec	ROUGE-L	Recall@5
kilt-a-benchmark-for-knowledge-intensive	16.1	0.0	0.0	0.0	19.08	0.0
Modell 2	0.0	0.0	0.0	15.83	0.0	25.49
Modell 3	0.0	0.0	0.0	17.5	0.0	25.54
Modell 4	15.91	2.38	2.46	14.83	16.45	27.69
Modell 5	14.51	1.79	1.69	11.0	14.05	22.92
hurdles-to-progress-in-long-form-question	22.88	2.34	2.36	10.67	23.19	24.56
Modell 7	19.23	0.0	0.0	0.0	20.55	0.0
Modell 8	21.62	0.0	0.0	0.0	18.66	0.0
Modell 9	15.29	0.0	0.0	0.0	15.76	0.0
Modell 10	27.13	3.0	2.62	10.83	24.53	27.25
Modell 11	0.0	0.0	0.0	18.33	0.0	28.21
Modell 12	16.4	0.0	0.0	0.0	17.67	0.0
Modell 13	17.88	2.01	1.9	10.67	17.41	26.92
Modell 14	14.8	0.0	0.0	0.0	16.88	0.0
Modell 15	17.07	0.0	0.0	0.0	15.45	0.0
Modell 16	0.0	0.0	0.0	15.5	0.0	27.51