Vision And Language Navigation On Vln

Métriques

error

length

oracle success

spl

success

Résultats

Résultats de performance de divers modèles sur ce benchmark

Tableau comparatif

Nom du modèle	error	length	oracle success	spl	success
Modèle 1	2.99	686.86	0.99	0.01	0.74
Modèle 2	3.97	13.75	0.71	0.58	0.64
Modèle 3	5.45	10.65	0.6	0.48	0.52
Modèle 4	3.3	9.85	0.77	0.68	0.7
Modèle 5	4.32	13.43	0.69	0.55	0.61
Modèle 6	4.49	12.22	0.67	0.54	0.59
Modèle 7	4.96	12.51	0.61	0.48	0.54
Modèle 8	3.61	14.6	0.77	0.59	0.7
Modèle 9	4.57	10.99	0.65	0.5	0.57
vision-language-navigation-with-random	3.87	13.11	0.72	0.59	0.65
Modèle 11	3.38	15.47	0.79	0.59	0.71
self-monitoring-navigation-agent-via	5.67	18.04	0.59	0.35	0.48
Modèle 13	6.46	13.08	0.45	0.3	0.37
Modèle 14	5.37	10.0	0.59	0.5	0.53
Modèle 15	3.31	786.35	0.99	0.01	0.69
Modèle 16	4.65	12.19	0.62	0.52	0.56
Modèle 17	4.71	10.31	0.64	0.55	0.59
Modèle 18	3.73	15.89	0.73	0.6	0.66
Modèle 19	6.12	11.97	0.5	0.38	0.43
Modèle 20	3.44	16.14	0.79	0.6	0.72
Modèle 21	5.42	14.07	0.55	0.4	0.47
Modèle 22	5.63	12.13	0.61	0.49	0.53
Modèle 23	12.29	45.13	0.49	0.02	0.07
improving-vision-and-language-navigation-with	3.09	686.62	0.99	0.01	0.73
Modèle 25	4.57	1214.94	0.96	0.01	0.56
Modèle 26	5.5	14.42	0.57	0.41	0.49
Modèle 27	3.77	11.89	0.72	0.63	0.66
Modèle 28	7.85	8.13	0.27	0.18	0.2
Modèle 29	4.61	13.16	0.65	0.5	0.57
Modèle 30	4.21	9.48	0.67	0.59	0.6
Modèle 31	4.45	13.0	0.67	0.53	0.58
Modèle 32	4.27	12.13	0.67	0.56	0.61
Modèle 33	4.52	10.21	0.64	0.56	0.59
Modèle 34	6.01	10.47	0.53	0.4	0.45
Modèle 35	5.35	11.74	0.64	0.5	0.54
neighbor-view-enhanced-model-for-vision-and	4.37	12.98	0.66	0.54	0.58
Modèle 37	4.09	12.35	0.7	0.57	0.63
Modèle 38	4.53	10.52	0.63	0.53	0.57
environment-agnostic-multitask-learning-for	6.03	13.35	0.56	0.4	0.45
Modèle 40	3.78	15.9	0.71	0.59	0.65
Modèle 41	5.3	10.51	0.61	0.51	0.54
Modèle 42	7.47	10.92	0.34	0.21	0.26
Modèle 43	5.14	13.05	0.6	0.45	0.51
Modèle 44	5.3	10.4	0.61	0.5	0.53
Modèle 45	4.26	12.73	0.67	0.55	0.61
Modèle 46	4.48	373.09	0.97	0.02	0.61
Modèle 47	4.75	10.29	0.61	0.52	0.55
Modèle 48	4.18	10.22	0.67	0.58	0.62
Modèle 49	3.05	1250.89	1.0	0.01	0.72
Modèle 50	3.52	11.79	0.75	0.65	0.7
Modèle 51	6.61	13.85	0.46	0.3	0.36
vision-language-navigation-with-self	3.69	10.43	0.75	0.65	0.68
Modèle 53	9.79	9.89	0.18	0.12	0.13
Modèle 54	3.65	14.73	0.76	0.59	0.69
Modèle 55	4.02	10.66	0.72	0.55	0.61
Modèle 56	3.13	15.87	0.81	0.62	0.73
transferable-representation-learning-in	5.49	10.27	0.56	0.45	0.48
Modèle 58	3.99	12.62	0.71	0.58	0.63
Modèle 59	5.17	10.58	0.63	0.52	0.56
Modèle 60	6.55	9.81	0.45	0.31	0.35
Modèle 61	5.29	11.39	0.65	0.53	0.56
Modèle 62	4.59	12.34	0.65	0.53	0.57
Modèle 63	4.09	12.35	0.7	0.57	0.63
Modèle 64	4.53	13.07	0.66	0.53	0.59
Modèle 65	3.55	14.39	0.76	0.6	0.7
Modèle 66	3.82	12.71	0.72	0.6	0.65
Modèle 67	4.34	21.03	0.71	0.43	0.6
Modèle 68	4.9	12.96	0.62	0.5	0.55
Modèle 69	3.07	176.22	0.94	0.05	0.71
tactical-rewind-self-correction-via	5.14	22.08	0.64	0.41	0.54
Modèle 71	3.26	10.21	0.77	0.67	0.71
learning-to-navigate-unseen-environments-back	5.23	11.66	0.59	0.47	0.51
Modèle 73	5.32	10.9	0.63	0.51	0.55
Modèle 74	6.89	8.32	0.41	0.32	0.34
Modèle 75	3.55	625.27	0.99	0.01	0.74
the-regretful-agent-heuristic-aided	5.69	13.69	0.56	0.4	0.48
Modèle 77	4.09	12.35	0.7	0.57	0.63
Modèle 78	3.86	12.31	0.71	0.59	0.64
Modèle 79	3.94	12.3	0.71	0.59	0.64
Modèle 80	3.77	16.41	0.71	0.59	0.66
Modèle 81	5.8	16.73	0.57	0.36	0.47
Modèle 82	8.82	9.56	0.24	0.16	0.18
Modèle 83	7.63	22.14	0.61	0.2	0.3
Modèle 84	7.53	9.15	0.32	0.23	0.25
Modèle 85	3.41	12.07	0.76	0.6	0.67
Modèle 86	7.2	15.9	0.4	0.23	0.29
Modèle 87	5.64	10.42	0.53	0.43	0.47
airbert-in-domain-pretraining-for-vision-and	2.58	686.54	0.99	0.01	0.78
Modèle 89	6.95	10.44	0.43	0.31	0.36
Modèle 90	3.68	14.78	0.72	0.6	0.66
Modèle 91	4.27	16.94	0.72	0.49	0.62
Modèle 92	3.97	9.79	0.7	0.61	0.64
Modèle 93	4.03	357.62	0.96	0.02	0.63
Modèle 94	8.56	9.48	0.32	0.22	0.24
learning-to-navigate-unseen-environments-back	3.26	686.82	0.99	0.01	0.69
Modèle 96	3.67	13.07	0.73	0.6	0.66
Modèle 97	5.24	14.31	0.64	0.46	0.54
Modèle 98	4.0	16.44	0.69	0.58	0.63
Modèle 99	6.17	10.17	0.47	0.36	0.4
Modèle 100	4.95	10.71	0.65	0.55	0.58
Modèle 101	3.9	12.84	0.7	0.58	0.64
Modèle 102	4.02	13.57	0.71	0.57	0.63
tactical-rewind-self-correction-via	4.29	196.53	0.9	0.03	0.61
Modèle 104	4.22	13.2	0.69	0.56	0.61
Modèle 105	1.61	11.85	0.9	0.76	0.86
Modèle 106	3.59	11.9	0.73	0.64	0.68
Modèle 107	4.3	15.83	0.68	0.55	0.61
Modèle 108	3.86	12.75	0.72	0.6	0.66
Modèle 109	4.89	10.18	0.63	0.53	0.56
Modèle 110	4.84	15.74	0.69	0.48	0.56
Modèle 111	3.76	10.24	0.71	0.62	0.65
Modèle 112	3.0	10.2	0.8	0.69	0.73
Modèle 113	4.0	11.91	0.7	0.6	0.65
Modèle 114	3.78	15.9	0.71	0.59	0.65
Modèle 115	7.99	8.26	0.26	0.18	0.2
Modèle 116	3.85	19.62	0.74	0.55	0.66
Modèle 117	3.35	14.43	0.8	0.62	0.73
Modèle 118	3.74	13.55	0.73	0.61	0.67
Modèle 119	5.56	16.03	0.57	0.35	0.47
Modèle 120	5.45	11.15	0.57	0.47	0.51
Modèle 121	4.87	1257.38	0.96	0.01	0.53
Modèle 122	6.67	10.83	0.44	0.33	0.36
Modèle 123	9.8	9.91	0.19	0.12	0.14
Modèle 124	6.68	15.75	0.43	0.25	0.33
Modèle 125	7.03	15.1	0.4	0.25	0.31
Modèle 126	9.93	0.0	0.0	0.0	0.0
Modèle 127	3.21	690.61	0.99	0.01	0.7
Modèle 128	3.96	12.77	0.7	0.57	0.63
Modèle 129	2.5	686.45	0.99	0.01	0.79
Modèle 130	4.04	13.02	0.7	0.58	0.63
Modèle 131	4.16	12.51	0.69	0.58	0.63
vision-language-navigation-with-self	3.24	40.85	0.81	0.21	0.71
Modèle 133	4.57	20.39	0.7	0.46	0.61
Modèle 134	3.33	15.24	0.78	0.61	0.72
Modèle 135	3.86	12.22	0.71	0.61	0.65
Modèle 136	3.93	12.27	0.72	0.6	0.65
Modèle 137	5.11	10.06	0.62	0.52	0.54
Modèle 138	3.88	12.6	0.71	0.59	0.64
Modèle 139	5.7	11.47	0.57	0.47	0.51
Modèle 140	3.57	14.25	0.77	0.61	0.71
Modèle 141	4.07	12.3	0.7	0.58	0.63
Modèle 142	3.24	11.86	0.76	0.62	0.69
Modèle 143	4.26	14.29	0.66	0.55	0.59
Modèle 144	5.34	15.02	0.61	0.42	0.53
Modèle 145	3.98	13.54	0.7	0.58	0.63