Open Domain Dialog On Kilt Wizard Of

KILT-F1

KILT-RL

R-Prec

ROUGE-L

Recall@5

評価結果

このベンチマークにおける各モデルのパフォーマンス結果

比較表

モデル名	F1	KILT-F1	KILT-RL	R-Prec	ROUGE-L	Recall@5
モデル 1	0.0	0.0	0.0	64.79	0.0	82.15
モデル 2	14.82	0.0	0.0	0.0	13.35	0.0
モデル 3	17.3	0.0	0.0	0.0	15.93	0.0
モデル 4	0.0	0.0	0.0	62.88	0.0	77.74
モデル 5	3.09	2.18	2.04	55.71	2.92	75.59
モデル 6	18.57	11.79	10.36	55.37	16.36	78.45
モデル 7	17.28	0.0	0.0	0.0	15.71	0.0
モデル 8	18.34	11.63	10.45	57.55	16.65	78.96
モデル 9	0.0	0.0	0.0	59.11	0.0	69.1
モデル 10	19.19	13.39	11.92	56.08	17.06	74.27
モデル 11	15.66	7.57	6.55	41.54	13.94	68.25
モデル 12	12.86	0.0	0.0	0.0	11.77	0.0
kilt-a-benchmark-for-knowledge-intensive	13.53	0.0	0.0	0.0	12.4	0.0
モデル 14	15.12	6.96	5.91	41.06	13.27	67.13
モデル 15	12.15	4.8	4.41	39.06	11.42	51.63
re2g-retrieve-rerank-generate-2	18.9	12.98	11.39	60.1	16.76	79.98
モデル 17	13.75	0.0	0.0	0.0	12.81	0.0
モデル 18	11.85	2.2	1.85	18.35	10.11	18.35
モデル 19	13.11	8.75	7.59	57.75	11.57	74.61
モデル 20	15.19	4.37	3.71	25.46	13.23	51.19
モデル 21	0.0	0.0	0.0	41.06	0.0	67.13