Visual Question Answering On Gqa Test2019

評価指標

Accuracy

Binary

Consistency

Distribution

Open

Plausibility

Validity

評価結果

このベンチマークにおける各モデルのパフォーマンス結果

比較表

モデル名	Accuracy	Binary	Consistency	Distribution	Open	Plausibility	Validity
モデル 1	60.98	77.32	90.77	5.36	46.55	84.93	96.38
モデル 2	60.59	78.44	92.66	7.28	44.83	85.38	96.57
モデル 3	46.55	63.26	74.57	7.46	31.8	84.25	96.02
モデル 4	64.92	82.63	94.37	5.11	49.29	84.91	96.64
モデル 5	59.37	77.53	88.63	6.06	43.35	84.71	96.18
モデル 6	59.8	76.74	89.14	5.11	44.85	84.2	96.23
モデル 7	60.17	77.19	89.61	5.83	45.14	84.46	96.36
モデル 8	59.29	77.31	88.94	5.8	43.38	84.43	96.3
モデル 9	37.03	56.61	63.96	28.4	19.74	85.12	95.76
モデル 10	57.35	75.07	87.61	5.94	41.71	84.5	95.86
vinvl-l-enriching-visual-representation-with	64.85	82.59	94.0	4.59	49.19	84.91	96.62
モデル 12	55.0	72.09	83.47	5.29	39.92	84.66	96.34
bottom-up-and-top-down-attention-for-image	49.74	66.64	78.71	5.98	34.83	84.57	96.18
モデル 14	57.89	74.54	85.45	5.73	43.19	84.99	96.4
graph-reasoning-networks-for-visual-question	61.22	78.69	90.31	6.77	45.81	85.43	96.36
モデル 16	56.95	74.62	87.71	5.81	41.36	84.57	95.98
モデル 17	60.18	76.97	89.65	5.29	45.36	84.47	96.33
モデル 18	63.17	78.94	93.25	3.71	49.25	84.28	96.41
モデル 19	55.65	72.86	89.18	9.69	40.46	85.27	96.33
モデル 20	56.96	74.97	85.12	7.13	41.06	84.85	96.38
モデル 21	60.27	76.99	90.16	5.39	45.51	84.49	96.31
モデル 22	60.02	76.37	90.05	5.63	45.59	84.34	96.29
モデル 23	55.93	71.81	83.2	6.05	41.93	85.09	96.01
モデル 24	59.93	79.09	93.72	10.1	43.02	85.92	96.41
モデル 25	63.2	77.91	89.84	5.25	50.22	85.15	96.47
モデル 26	89.3	91.2	98.4	0.0	87.4	97.2	98.9
モデル 27	59.43	77.11	89.05	6.39	43.82	84.94	96.56
モデル 28	56.18	72.84	85.46	5.42	41.47	84.04	96.18
モデル 29	44.06	57.57	38.18	8.35	32.13	75.19	85.94
モデル 30	59.54	77.98	89.21	6.01	43.26	84.94	96.24
モデル 31	61.1	77.99	91.08	5.52	46.19	84.82	96.36
モデル 32	56.65	73.65	84.35	6.07	41.64	84.37	95.94
モデル 33	56.59	73.0	84.7	4.68	42.11	84.86	96.4
モデル 34	51.22	69.36	82.44	6.45	35.2	83.82	96.12
モデル 35	60.14	77.15	89.58	5.81	45.12	84.47	96.36
モデル 36	57.1	76.0	91.7	10.52	40.41	85.58	96.16
モデル 37	61.09	77.84	88.92	5.68	46.3	85.49	96.43
モデル 38	60.67	78.02	89.81	6.41	45.36	84.84	96.31
モデル 39	53.57	70.15	81.14	5.32	38.94	84.67	96.36
モデル 40	61.05	78.02	89.77	5.24	46.06	84.95	96.5
モデル 41	62.44	80.28	94.36	5.33	46.69	84.91	96.46
vinvl-making-visual-representations-matter-in	64.65	82.63	94.35	4.72	48.77	84.98	96.62
モデル 43	57.21	74.46	87.6	5.6	41.99	84.87	96.2
モデル 44	17.82	36.05	62.4	19.99	1.74	34.84	35.78
モデル 45	54.15	69.3	82.36	5.41	40.79	85.15	95.99
モデル 46	58.06	76.6	90.96	7.6	41.7	85.27	96.31
lxmert-learning-cross-modality-encoder	62.71	79.79	93.1	6.42	47.64	85.21	96.36
モデル 48	59.81	78.02	91.43	6.0	43.75	84.77	96.5
モデル 49	28.9	42.94	51.69	93.08	16.62	74.81	88.86
モデル 50	55.7	72.88	83.52	5.32	40.53	84.81	96.39
モデル 51	57.65	75.22	87.35	5.48	42.14	84.73	96.18
モデル 52	40.3	61.18	74.11	40.44	21.88	86.13	96.14
モデル 53	70.23	77.5	86.94	1.49	63.82	83.77	96.65
モデル 54	57.14	75.07	87.36	5.29	41.31	84.49	95.87
モデル 55	48.97	63.85	83.85	13.72	35.83	83.93	95.62
モデル 56	59.12	76.69	88.9	5.6	43.6	84.78	96.43
モデル 57	56.16	73.56	84.99	5.87	40.8	84.83	96.4
モデル 58	53.31	70.41	80.33	6.4	38.23	84.32	95.99
モデル 59	48.44	65.02	81.19	17.79	33.81	85.29	96.15
モデル 60	60.07	76.84	89.32	6.21	45.27	84.55	96.35
モデル 61	36.75	55.24	69.93	40.84	20.44	84.13	95.1
モデル 62	60.42	77.12	89.69	6.03	45.68	84.56	96.35
モデル 63	63.94	80.84	91.54	4.69	49.03	84.74	96.56
モデル 64	51.87	67.99	80.2	6.77	37.64	84.35	96.25
モデル 65	60.37	77.09	89.77	6.43	45.61	84.56	96.22
モデル 66	52.19	69.15	78.34	5.69	37.22	83.44	95.45
モデル 67	72.14	81.16	90.96	2.39	64.19	84.81	96.77
モデル 68	61.12	78.07	91.13	5.55	46.16	84.8	96.36
モデル 69	60.93	77.83	90.3	5.74	46.01	84.69	96.35
モデル 70	60.51	76.87	88.2	8.48	46.06	85.19	96.15
モデル 71	49.28	67.59	83.68	14.28	33.12	83.41	94.95
モデル 72	76.04	84.46	91.47	3.68	68.6	83.75	96.42
モデル 73	45.86	64.74	70.57	8.38	29.2	86.13	96.61
モデル 74	41.63	55.12	82.21	13.01	29.73	77.4	92.27
モデル 75	61.49	78.4	88.68	5.7	46.56	84.85	96.33
モデル 76	55.41	72.87	83.06	5.48	39.99	84.74	96.35
モデル 77	26.45	45.69	55.23	11.49	9.47	50.93	60.81
モデル 78	53.89	72.52	87.47	8.66	37.44	85.05	96.39
モデル 79	55.57	72.39	83.32	10.18	40.74	84.24	96.15
モデル 80	60.89	78.07	93.02	5.31	45.73	84.05	96.0
モデル 81	60.87	79.12	92.61	8.56	44.76	85.63	96.35
モデル 82	31.24	47.9	54.04	13.98	16.66	84.31	84.33
モデル 83	54.06	71.23	81.59	5.34	38.91	84.48	96.16
モデル 84	60.7	77.41	89.65	6.09	45.96	84.55	96.37
モデル 85	47.72	66.28	84.16	19.05	31.34	84.52	95.45
モデル 86	49.27	66.57	78.51	6.91	34.0	84.58	95.78
モデル 87	41.07	61.9	68.68	17.93	22.69	87.3	96.39
モデル 88	51.51	67.82	79.7	6.16	37.11	83.69	95.82
モデル 89	56.09	73.4	85.11	5.14	40.82	84.79	96.37
モデル 90	56.11	72.65	85.51	5.42	41.52	84.36	96.25
モデル 91	57.79	75.37	88.3	5.65	42.26	84.85	96.11
モデル 92	62.45	80.91	93.95	5.36	46.15	84.15	96.33
モデル 93	58.91	76.08	89.52	6.93	43.75	84.52	96.18
モデル 94	56.95	75.01	90.49	9.5	41.02	85.46	96.37
モデル 95	60.83	78.9	92.49	5.54	44.89	84.55	96.19
lxmert-learning-cross-modality-encoder	60.33	77.16	89.59	5.69	45.47	84.53	96.35
モデル 97	60.95	78.41	89.08	4.86	45.54	84.27	96.35
モデル 98	56.38	74.84	91.71	6.32	40.09	83.76	95.43
モデル 99	58.2	75.91	88.25	5.81	42.57	84.72	96.08
モデル 100	56.28	73.73	86.86	5.78	40.87	84.2	96.01
モデル 101	57.77	75.78	86.85	5.36	41.86	84.97	96.44
モデル 102	58.72	76.4	89.58	6.58	43.11	84.68	96.21
モデル 103	42.75	61.21	63.51	7.63	26.45	84.2	95.99
モデル 104	73.33	79.68	77.02	2.46	67.73	83.7	96.36
モデル 105	54.79	72.42	86.1	6.01	39.23	84.55	95.92
モデル 106	52.3	68.46	84.36	12.54	38.04	85.2	96.2
モデル 107	59.84	76.79	89.52	6.06	44.89	84.72	96.2
モデル 108	60.18	76.84	89.77	5.65	45.48	84.6	96.37
モデル 109	43.84	59.24	67.71	10.99	30.24	84.01	95.32
モデル 110	59.72	77.97	89.43	6.25	43.61	84.89	96.55
モデル 111	60.28	77.13	89.47	5.38	45.41	84.45	96.33
モデル 112	58.12	76.39	88.01	5.65	42.0	84.8	96.06
モデル 113	58.88	75.07	84.64	5.54	44.58	84.86	96.23
モデル 114	60.01	76.77	89.17	6.28	45.21	84.46	96.35
モデル 115	59.06	76.07	89.81	6.14	44.04	82.76	93.82
モデル 116	58.42	77.39	90.29	7.86	41.67	84.53	95.57
モデル 117	55.35	72.65	84.17	5.22	40.08	84.56	96.32
モデル 118	53.85	68.44	80.2	5.84	40.97	85.19	96.28
モデル 119	54.94	71.7	82.71	5.1	40.14	84.78	96.4
モデル 120	73.81	80.8	91.76	1.7	67.64	83.9	96.73
モデル 121	67.55	80.45	93.83	2.78	56.16	84.16	96.53
モデル 122	57.07	73.77	84.68	4.7	42.33	84.81	96.48
モデル 123	56.0	73.9	87.16	6.02	40.2	84.45	96.01
モデル 124	57.01	74.78	87.74	6.06	41.32	84.25	96.03
モデル 125	52.02	67.35	80.44	5.64	38.5	83.94	95.75
モデル 126	74.03	82.12	89.0	1.29	66.89	83.58	96.76
モデル 127	47.38	58.76	73.71	6.29	37.34	81.75	94.55