Visual Dialog On Visual Dialog V1 0 Test Std

評価指標

MRR (x 100)

Mean

NDCG (x 100)

R@1

R@10

R@5

評価結果

このベンチマークにおける各モデルのパフォーマンス結果

比較表

モデル名	MRR (x 100)	Mean	NDCG (x 100)	R@1	R@10	R@5
multi-view-attention-networks-for-visual	64.84	3.97	59.37	51.45	90.65	81.12
モデル 2	56.42	5.47	76.17	44.32	84.52	70.23
モデル 3	64.43	4.13	58.19	50.7	90.18	80.83
モデル 4	57.13	5.85	72.33	45.17	82.4	69.95
モデル 5	64.79	3.98	58.25	51.32	90.38	81.0
モデル 6	56.05	5.72	76.14	44.75	82.75	68.4
factor-graph-attention	69.3	3.14	57.20	55.65	94.05	86.73
recursive-visual-attention-in-visual-dialog	63.03	4.18	55.59	49.03	89.83	80.40
モデル 9	48.37	7.05	73.08	34.65	77.53	62.98
モデル 10	63.7	4.26	58.59	50.3	89.15	79.47
モデル 11	53.19	11.96	47.51	41.4	74.15	65.85
モデル 12	55.11	6.55	72.41	43.23	79.77	67.65
モデル 13	56.35	5.79	76.43	45.17	82.17	68.12
モデル 14	66.63	3.41	60.91	52.52	92.27	84.1
visual-dialog	54.2	6.41	45.5	39.93	81.50	70.45
モデル 16	62.65	5.89	74.62	54.37	83.33	70.75
efficient-attention-mechanism-for-handling	52.14	6.53	74.88	38.92	80.65	66.6
モデル 18	56.2	5.41	77.92	44.45	83.78	68.9
モデル 19	61.09	4.65	52.57	46.83	87.42	78.22
モデル 20	49.03	7.07	72.85	35.88	77.75	62.88
iterative-context-aware-graph-inference-for	63.49	4.11	56.64	49.85	90.15	80.63
モデル 22	64.58	4.03	59.23	51.25	90.05	80.92
モデル 23	66.53	3.4	60.33	52.62	92.5	84.12
モデル 24	56.73	6.0	72.99	45.42	81.73	68.92
モデル 25	45.75	6.54	78.7	29.5	82.45	65.7
dualvd-an-adaptive-dual-encoding-model-for	63.23	4.11	56.32	49.25	89.7	80.23
モデル 27	43.07	7.42	73.15	27.82	76.55	60.38
image-question-answer-synergistic-network-for	62.20	4.17	57.32	47.90	-	80.43
visual-dialog	55.4	5.95	45.3	40.95	82.83	72.45
モデル 30	62.65	4.5	59.0	49.48	88.35	78.1
モデル 31	64.62	4.29	64.79	51.82	89.95	80.35
モデル 32	62.56	3.82	55.21	47.45	92.0	81.55
モデル 33	64.95	3.44	60.31	50.48	93.15	83.15
モデル 34	63.3	4.2	55.94	49.18	89.6	81.0
モデル 35	39.61	9.01	70.08	25.65	70.12	53.62
モデル 36	58.57	5.13	64.48	44.27	86.42	76.15
モデル 37	62.68	4.22	56.38	48.6	89.48	80.1
モデル 38	49.26	7.0	73.36	36.35	78.12	62.42
モデル 39	60.11	4.7	49.94	45.6	87.9	77.53
モデル 40	63.31	4.31	58.14	49.68	89.25	80.45
モデル 41	67.5	3.32	63.87	53.85	93.25	84.67
モデル 42	57.19	6.04	72.35	45.3	82.38	70.15
モデル 43	50.74	6.28	74.47	37.95	80.0	64.12
モデル 44	63.92	4.28	68.08	50.78	89.6	79.53
モデル 45	64.57	3.67	57.6	49.75	91.67	82.23
ensemble-of-mrr-and-ndcg-models-for-visual	69.92	3.84	72.83	58.3	89.6	81.55
dual-attention-networks-for-visual-reference	63.2	4.3	57.59	49.63	89.35	79.75
making-history-matter-gold-critic-sequence	64.22	4.20	57.17	50.88	89.45	80.63
モデル 49	49.47	6.9	72.58	35.77	78.25	64.15
モデル 50	51.17	6.69	75.35	38.9	77.98	62.82
モデル 51	56.67	5.98	72.8	44.82	81.9	68.67
モデル 52	47.03	13.3	57.39	36.93	65.8	56.47
モデル 53	55.69	7.87	51.87	42.7	79.72	70.17
モデル 54	64.3	4.07	57.82	50.58	90.03	81.25
モデル 55	66.2	3.25	59.33	51.62	93.7	85.05
モデル 56	45.84	20.71	53.19	35.9	61.7	54.97
visual-dialog	55.5	5.92	47.5	40.98	83.30	72.30
モデル 58	7.25	49.61	11.84	3.02	12.22	7.22
モデル 59	61.87	4.49	58.56	48.4	88.6	78.0
モデル 60	68.16	3.3	63.94	54.67	93.1	84.95
learning-to-reason-end-to-end-module-networks	58.8	4.4	58.1	44.15	86.88	76.88
モデル 62	47.54	7.14	72.33	33.5	77.33	63.28
モデル 63	64.25	4.11	60.19	50.88	90.6	80.92
モデル 64	67.5	3.32	63.87	53.85	93.25	84.67
モデル 65	53.3	5.91	46.75	36.83	83.1	73.45
モデル 66	41.66	8.3	71.91	25.85	74.67	60.12
モデル 67	62.24	4.09	55.88	47.58	89.72	80.45
reasoning-visual-dialogs-with-structural-and	61.37	4.57	52.82	47.33	87.83	77.98
モデル 69	64.14	4.18	59.69	50.62	89.83	80.77
モデル 70	65.7	3.68	58.51	51.73	91.97	82.97
モデル 71	56.03	5.98	73.07	44.2	81.62	68.45
モデル 72	70.41	3.66	72.16	58.17	90.83	83.85
モデル 73	71.24	2.96	64.04	58.27	94.45	87.55
モデル 74	67.49	3.31	63.75	53.75	93.25	85.02
モデル 75	59.96	5.12	53.2	46.35	86.48	76.78
モデル 76	70.95	2.91	67.09	57.07	95.08	88.42
モデル 77	56.34	6.04	71.82	44.22	81.7	69.65
モデル 78	64.31	4.11	58.49	50.8	89.65	80.8
visual-coreference-resolution-in-visual	61.50	4.40	54.70	47.55	88.80	78.10
モデル 80	29.97	22.05	23.0	16.62	53.05	43.58