Vision And Language Navigation On Vln

평가 지표

error

length

oracle success

spl

success

평가 결과

이 벤치마크에서 각 모델의 성능 결과

비교 표

모델 이름	error	length	oracle success	spl	success
모델 1	2.99	686.86	0.99	0.01	0.74
모델 2	3.97	13.75	0.71	0.58	0.64
모델 3	5.45	10.65	0.6	0.48	0.52
모델 4	3.3	9.85	0.77	0.68	0.7
모델 5	4.32	13.43	0.69	0.55	0.61
모델 6	4.49	12.22	0.67	0.54	0.59
모델 7	4.96	12.51	0.61	0.48	0.54
모델 8	3.61	14.6	0.77	0.59	0.7
모델 9	4.57	10.99	0.65	0.5	0.57
vision-language-navigation-with-random	3.87	13.11	0.72	0.59	0.65
모델 11	3.38	15.47	0.79	0.59	0.71
self-monitoring-navigation-agent-via	5.67	18.04	0.59	0.35	0.48
모델 13	6.46	13.08	0.45	0.3	0.37
모델 14	5.37	10.0	0.59	0.5	0.53
모델 15	3.31	786.35	0.99	0.01	0.69
모델 16	4.65	12.19	0.62	0.52	0.56
모델 17	4.71	10.31	0.64	0.55	0.59
모델 18	3.73	15.89	0.73	0.6	0.66
모델 19	6.12	11.97	0.5	0.38	0.43
모델 20	3.44	16.14	0.79	0.6	0.72
모델 21	5.42	14.07	0.55	0.4	0.47
모델 22	5.63	12.13	0.61	0.49	0.53
모델 23	12.29	45.13	0.49	0.02	0.07
improving-vision-and-language-navigation-with	3.09	686.62	0.99	0.01	0.73
모델 25	4.57	1214.94	0.96	0.01	0.56
모델 26	5.5	14.42	0.57	0.41	0.49
모델 27	3.77	11.89	0.72	0.63	0.66
모델 28	7.85	8.13	0.27	0.18	0.2
모델 29	4.61	13.16	0.65	0.5	0.57
모델 30	4.21	9.48	0.67	0.59	0.6
모델 31	4.45	13.0	0.67	0.53	0.58
모델 32	4.27	12.13	0.67	0.56	0.61
모델 33	4.52	10.21	0.64	0.56	0.59
모델 34	6.01	10.47	0.53	0.4	0.45
모델 35	5.35	11.74	0.64	0.5	0.54
neighbor-view-enhanced-model-for-vision-and	4.37	12.98	0.66	0.54	0.58
모델 37	4.09	12.35	0.7	0.57	0.63
모델 38	4.53	10.52	0.63	0.53	0.57
environment-agnostic-multitask-learning-for	6.03	13.35	0.56	0.4	0.45
모델 40	3.78	15.9	0.71	0.59	0.65
모델 41	5.3	10.51	0.61	0.51	0.54
모델 42	7.47	10.92	0.34	0.21	0.26
모델 43	5.14	13.05	0.6	0.45	0.51
모델 44	5.3	10.4	0.61	0.5	0.53
모델 45	4.26	12.73	0.67	0.55	0.61
모델 46	4.48	373.09	0.97	0.02	0.61
모델 47	4.75	10.29	0.61	0.52	0.55
모델 48	4.18	10.22	0.67	0.58	0.62
모델 49	3.05	1250.89	1.0	0.01	0.72
모델 50	3.52	11.79	0.75	0.65	0.7
모델 51	6.61	13.85	0.46	0.3	0.36
vision-language-navigation-with-self	3.69	10.43	0.75	0.65	0.68
모델 53	9.79	9.89	0.18	0.12	0.13
모델 54	3.65	14.73	0.76	0.59	0.69
모델 55	4.02	10.66	0.72	0.55	0.61
모델 56	3.13	15.87	0.81	0.62	0.73
transferable-representation-learning-in	5.49	10.27	0.56	0.45	0.48
모델 58	3.99	12.62	0.71	0.58	0.63
모델 59	5.17	10.58	0.63	0.52	0.56
모델 60	6.55	9.81	0.45	0.31	0.35
모델 61	5.29	11.39	0.65	0.53	0.56
모델 62	4.59	12.34	0.65	0.53	0.57
모델 63	4.09	12.35	0.7	0.57	0.63
모델 64	4.53	13.07	0.66	0.53	0.59
모델 65	3.55	14.39	0.76	0.6	0.7
모델 66	3.82	12.71	0.72	0.6	0.65
모델 67	4.34	21.03	0.71	0.43	0.6
모델 68	4.9	12.96	0.62	0.5	0.55
모델 69	3.07	176.22	0.94	0.05	0.71
tactical-rewind-self-correction-via	5.14	22.08	0.64	0.41	0.54
모델 71	3.26	10.21	0.77	0.67	0.71
learning-to-navigate-unseen-environments-back	5.23	11.66	0.59	0.47	0.51
모델 73	5.32	10.9	0.63	0.51	0.55
모델 74	6.89	8.32	0.41	0.32	0.34
모델 75	3.55	625.27	0.99	0.01	0.74
the-regretful-agent-heuristic-aided	5.69	13.69	0.56	0.4	0.48
모델 77	4.09	12.35	0.7	0.57	0.63
모델 78	3.86	12.31	0.71	0.59	0.64
모델 79	3.94	12.3	0.71	0.59	0.64
모델 80	3.77	16.41	0.71	0.59	0.66
모델 81	5.8	16.73	0.57	0.36	0.47
모델 82	8.82	9.56	0.24	0.16	0.18
모델 83	7.63	22.14	0.61	0.2	0.3
모델 84	7.53	9.15	0.32	0.23	0.25
모델 85	3.41	12.07	0.76	0.6	0.67
모델 86	7.2	15.9	0.4	0.23	0.29
모델 87	5.64	10.42	0.53	0.43	0.47
airbert-in-domain-pretraining-for-vision-and	2.58	686.54	0.99	0.01	0.78
모델 89	6.95	10.44	0.43	0.31	0.36
모델 90	3.68	14.78	0.72	0.6	0.66
모델 91	4.27	16.94	0.72	0.49	0.62
모델 92	3.97	9.79	0.7	0.61	0.64
모델 93	4.03	357.62	0.96	0.02	0.63
모델 94	8.56	9.48	0.32	0.22	0.24
learning-to-navigate-unseen-environments-back	3.26	686.82	0.99	0.01	0.69
모델 96	3.67	13.07	0.73	0.6	0.66
모델 97	5.24	14.31	0.64	0.46	0.54
모델 98	4.0	16.44	0.69	0.58	0.63
모델 99	6.17	10.17	0.47	0.36	0.4
모델 100	4.95	10.71	0.65	0.55	0.58
모델 101	3.9	12.84	0.7	0.58	0.64
모델 102	4.02	13.57	0.71	0.57	0.63
tactical-rewind-self-correction-via	4.29	196.53	0.9	0.03	0.61
모델 104	4.22	13.2	0.69	0.56	0.61
모델 105	1.61	11.85	0.9	0.76	0.86
모델 106	3.59	11.9	0.73	0.64	0.68
모델 107	4.3	15.83	0.68	0.55	0.61
모델 108	3.86	12.75	0.72	0.6	0.66
모델 109	4.89	10.18	0.63	0.53	0.56
모델 110	4.84	15.74	0.69	0.48	0.56
모델 111	3.76	10.24	0.71	0.62	0.65
모델 112	3.0	10.2	0.8	0.69	0.73
모델 113	4.0	11.91	0.7	0.6	0.65
모델 114	3.78	15.9	0.71	0.59	0.65
모델 115	7.99	8.26	0.26	0.18	0.2
모델 116	3.85	19.62	0.74	0.55	0.66
모델 117	3.35	14.43	0.8	0.62	0.73
모델 118	3.74	13.55	0.73	0.61	0.67
모델 119	5.56	16.03	0.57	0.35	0.47
모델 120	5.45	11.15	0.57	0.47	0.51
모델 121	4.87	1257.38	0.96	0.01	0.53
모델 122	6.67	10.83	0.44	0.33	0.36
모델 123	9.8	9.91	0.19	0.12	0.14
모델 124	6.68	15.75	0.43	0.25	0.33
모델 125	7.03	15.1	0.4	0.25	0.31
모델 126	9.93	0.0	0.0	0.0	0.0
모델 127	3.21	690.61	0.99	0.01	0.7
모델 128	3.96	12.77	0.7	0.57	0.63
모델 129	2.5	686.45	0.99	0.01	0.79
모델 130	4.04	13.02	0.7	0.58	0.63
모델 131	4.16	12.51	0.69	0.58	0.63
vision-language-navigation-with-self	3.24	40.85	0.81	0.21	0.71
모델 133	4.57	20.39	0.7	0.46	0.61
모델 134	3.33	15.24	0.78	0.61	0.72
모델 135	3.86	12.22	0.71	0.61	0.65
모델 136	3.93	12.27	0.72	0.6	0.65
모델 137	5.11	10.06	0.62	0.52	0.54
모델 138	3.88	12.6	0.71	0.59	0.64
모델 139	5.7	11.47	0.57	0.47	0.51
모델 140	3.57	14.25	0.77	0.61	0.71
모델 141	4.07	12.3	0.7	0.58	0.63
모델 142	3.24	11.86	0.76	0.62	0.69
모델 143	4.26	14.29	0.66	0.55	0.59
모델 144	5.34	15.02	0.61	0.42	0.53
모델 145	3.98	13.54	0.7	0.58	0.63