Visual Dialog On Visual Dialog V1 0 Test Std

Métriques

MRR (x 100)

Mean

NDCG (x 100)

R@1

R@10

R@5

Résultats

Résultats de performance de divers modèles sur ce benchmark

Tableau comparatif

Nom du modèle	MRR (x 100)	Mean	NDCG (x 100)	R@1	R@10	R@5
multi-view-attention-networks-for-visual	64.84	3.97	59.37	51.45	90.65	81.12
Modèle 2	56.42	5.47	76.17	44.32	84.52	70.23
Modèle 3	64.43	4.13	58.19	50.7	90.18	80.83
Modèle 4	57.13	5.85	72.33	45.17	82.4	69.95
Modèle 5	64.79	3.98	58.25	51.32	90.38	81.0
Modèle 6	56.05	5.72	76.14	44.75	82.75	68.4
factor-graph-attention	69.3	3.14	57.20	55.65	94.05	86.73
recursive-visual-attention-in-visual-dialog	63.03	4.18	55.59	49.03	89.83	80.40
Modèle 9	48.37	7.05	73.08	34.65	77.53	62.98
Modèle 10	63.7	4.26	58.59	50.3	89.15	79.47
Modèle 11	53.19	11.96	47.51	41.4	74.15	65.85
Modèle 12	55.11	6.55	72.41	43.23	79.77	67.65
Modèle 13	56.35	5.79	76.43	45.17	82.17	68.12
Modèle 14	66.63	3.41	60.91	52.52	92.27	84.1
visual-dialog	54.2	6.41	45.5	39.93	81.50	70.45
Modèle 16	62.65	5.89	74.62	54.37	83.33	70.75
efficient-attention-mechanism-for-handling	52.14	6.53	74.88	38.92	80.65	66.6
Modèle 18	56.2	5.41	77.92	44.45	83.78	68.9
Modèle 19	61.09	4.65	52.57	46.83	87.42	78.22
Modèle 20	49.03	7.07	72.85	35.88	77.75	62.88
iterative-context-aware-graph-inference-for	63.49	4.11	56.64	49.85	90.15	80.63
Modèle 22	64.58	4.03	59.23	51.25	90.05	80.92
Modèle 23	66.53	3.4	60.33	52.62	92.5	84.12
Modèle 24	56.73	6.0	72.99	45.42	81.73	68.92
Modèle 25	45.75	6.54	78.7	29.5	82.45	65.7
dualvd-an-adaptive-dual-encoding-model-for	63.23	4.11	56.32	49.25	89.7	80.23
Modèle 27	43.07	7.42	73.15	27.82	76.55	60.38
image-question-answer-synergistic-network-for	62.20	4.17	57.32	47.90	-	80.43
visual-dialog	55.4	5.95	45.3	40.95	82.83	72.45
Modèle 30	62.65	4.5	59.0	49.48	88.35	78.1
Modèle 31	64.62	4.29	64.79	51.82	89.95	80.35
Modèle 32	62.56	3.82	55.21	47.45	92.0	81.55
Modèle 33	64.95	3.44	60.31	50.48	93.15	83.15
Modèle 34	63.3	4.2	55.94	49.18	89.6	81.0
Modèle 35	39.61	9.01	70.08	25.65	70.12	53.62
Modèle 36	58.57	5.13	64.48	44.27	86.42	76.15
Modèle 37	62.68	4.22	56.38	48.6	89.48	80.1
Modèle 38	49.26	7.0	73.36	36.35	78.12	62.42
Modèle 39	60.11	4.7	49.94	45.6	87.9	77.53
Modèle 40	63.31	4.31	58.14	49.68	89.25	80.45
Modèle 41	67.5	3.32	63.87	53.85	93.25	84.67
Modèle 42	57.19	6.04	72.35	45.3	82.38	70.15
Modèle 43	50.74	6.28	74.47	37.95	80.0	64.12
Modèle 44	63.92	4.28	68.08	50.78	89.6	79.53
Modèle 45	64.57	3.67	57.6	49.75	91.67	82.23
ensemble-of-mrr-and-ndcg-models-for-visual	69.92	3.84	72.83	58.3	89.6	81.55
dual-attention-networks-for-visual-reference	63.2	4.3	57.59	49.63	89.35	79.75
making-history-matter-gold-critic-sequence	64.22	4.20	57.17	50.88	89.45	80.63
Modèle 49	49.47	6.9	72.58	35.77	78.25	64.15
Modèle 50	51.17	6.69	75.35	38.9	77.98	62.82
Modèle 51	56.67	5.98	72.8	44.82	81.9	68.67
Modèle 52	47.03	13.3	57.39	36.93	65.8	56.47
Modèle 53	55.69	7.87	51.87	42.7	79.72	70.17
Modèle 54	64.3	4.07	57.82	50.58	90.03	81.25
Modèle 55	66.2	3.25	59.33	51.62	93.7	85.05
Modèle 56	45.84	20.71	53.19	35.9	61.7	54.97
visual-dialog	55.5	5.92	47.5	40.98	83.30	72.30
Modèle 58	7.25	49.61	11.84	3.02	12.22	7.22
Modèle 59	61.87	4.49	58.56	48.4	88.6	78.0
Modèle 60	68.16	3.3	63.94	54.67	93.1	84.95
learning-to-reason-end-to-end-module-networks	58.8	4.4	58.1	44.15	86.88	76.88
Modèle 62	47.54	7.14	72.33	33.5	77.33	63.28
Modèle 63	64.25	4.11	60.19	50.88	90.6	80.92
Modèle 64	67.5	3.32	63.87	53.85	93.25	84.67
Modèle 65	53.3	5.91	46.75	36.83	83.1	73.45
Modèle 66	41.66	8.3	71.91	25.85	74.67	60.12
Modèle 67	62.24	4.09	55.88	47.58	89.72	80.45
reasoning-visual-dialogs-with-structural-and	61.37	4.57	52.82	47.33	87.83	77.98
Modèle 69	64.14	4.18	59.69	50.62	89.83	80.77
Modèle 70	65.7	3.68	58.51	51.73	91.97	82.97
Modèle 71	56.03	5.98	73.07	44.2	81.62	68.45
Modèle 72	70.41	3.66	72.16	58.17	90.83	83.85
Modèle 73	71.24	2.96	64.04	58.27	94.45	87.55
Modèle 74	67.49	3.31	63.75	53.75	93.25	85.02
Modèle 75	59.96	5.12	53.2	46.35	86.48	76.78
Modèle 76	70.95	2.91	67.09	57.07	95.08	88.42
Modèle 77	56.34	6.04	71.82	44.22	81.7	69.65
Modèle 78	64.31	4.11	58.49	50.8	89.65	80.8
visual-coreference-resolution-in-visual	61.50	4.40	54.70	47.55	88.80	78.10
Modèle 80	29.97	22.05	23.0	16.62	53.05	43.58