Question Answering On Squad20

평가 지표

평가 결과

이 벤치마크에서 각 모델의 성능 결과

비교 표

모델 이름	EM	F1
모델 1	80.208	83.149
모델 2	79.971	83.184
모델 3	80.038	82.796
모델 4	80.117	83.189
모델 5	82.803	85.863
모델 6	74.769	77.706
모델 7	89.021	91.765
albert-a-lite-bert-for-self-supervised	88.107	90.902
모델 9	80.377	83.262
모델 10	86.436	89.086
모델 11	75.344	78.381
모델 12	84.800	87.864
모델 13	73.742	76.858
모델 14	80.388	82.908
모델 15	78.933	81.863
모델 16	78.052	81.174
모델 17	90.002	92.497
모델 18	84.924	88.204
ensemble-albert-on-squad-2-0	-	90.123
모델 20	79.181	82.259
모델 21	90.487	92.894
모델 22	85.838	88.921
모델 23	82.995	86.035
모델 24	84.642	88.000
모델 25	89.551	92.366
모델 26	77.003	80.209
모델 27	89.562	92.226
모델 28	87.847	90.532
모델 29	86.448	89.586
모델 30	87.802	90.872
deep-contextualized-word-representations	63.372	66.251
모델 32	84.642	88.000
모델 33	90.600	92.899
모델 34	79.948	83.023
모델 35	78.357	81.500
모델 36	90.679	92.948
모델 37	90.194	92.594
모델 38	80.411	83.457
모델 39	88.107	90.902
모델 40	82.126	84.820
모델 41	88.614	91.303
모델 42	87.429	90.163
모델 43	90.284	92.691
모델 44	88.050	90.645
모델 45	82.024	84.854
read-verify-machine-reading-comprehension	71.767	74.295
모델 47	89.461	92.134
모델 48	87.949	90.818
sg-net-syntax-guided-machine-reading	88.174	90.702
deberta-decoding-enhanced-bert-with	88.0	90.7
모델 51	58.508	62.045
모델 52	59.332	62.305
모델 53	82.713	85.584
모델 54	88.637	91.230
모델 55	79.779	82.912
모델 56	76.055	79.329
모델 57	90.420	92.799
모델 58	83.142	85.873
모델 59	81.979	84.846
모델 60	72.884	76.217
모델 61	85.003	87.833
모델 62	88.998	91.635
모델 63	81.178	84.251
모델 64	78.594	81.445
모델 65	63.372	66.251
xlnet-generalized-autoregressive-pretraining	87.926	90.689
모델 67	69.262	72.642
모델 68	65.651	68.866
모델 69	71.666	75.457
모델 70	88.197	90.830
모델 71	84.721	87.117
모델 72	90.115	92.580
모델 73	72.884	76.217
stochastic-answer-networks-for-machine	68.653	71.439
모델 75	76.055	79.329
semantics-aware-bert-for-language	84.800	87.864
모델 77	87.847	91.265
모델 78	85.229	87.926
모델 79	88.186	90.939
모델 80	88.050	91.036
모델 81	86.346	89.133
모델 82	85.240	87.901
모델 83	79.632	82.852
모델 84	80.715	83.827
모델 85	88.592	90.859
모델 86	80.456	83.509
semantics-aware-bert-for-language	86.166	88.886
모델 88	84.123	87.013
모델 89	79.971	83.266
모델 90	69.476	72.857
모델 91	77.262	80.258
모델 92	84.620	87.625
모델 93	84.721	87.117
모델 94	86.820	89.795
모델 95	89.325	91.994
모델 96	80.343	83.243
모델 97	84.202	86.767
모델 98	0.068	3.971
모델 99	84.292	86.967
모델 100	78.481	81.531
모델 101	86.651	89.595
모델 102	85.173	88.425
모델 103	80.354	83.329
모델 104	86.166	88.886
모델 105	89.348	91.985
모델 106	89.224	91.853
모델 107	68.213	70.878
semantics-aware-bert-for-language	86.166	88.886
모델 109	83.819	86.669
모델 110	84.123	87.013
모델 111	40.397	43.213
모델 112	84.834	87.644
모델 113	80.140	82.962
모델 114	56.545	59.546
모델 115	88.716	91.365
모델 116	90.442	92.877
모델 117	83.457	86.122
모델 118	85.884	88.621
모델 119	89.449	92.118
모델 120	48.883	48.883
모델 121	75.073	77.805
모델 122	90.724	93.011
모델 123	85.872	88.793
모델 124	88.524	91.256
모델 125	87.147	89.474
모델 126	78.357	81.500
모델 127	67.897	70.884
모델 128	63.327	66.633
모델 129	88.107	90.902
모델 130	83.751	86.594
모델 131	90.386	92.777
sg-net-syntax-guided-machine-reading	87.238	90.071
모델 133	83.051	85.737
모델 134	74.272	77.052
모델 135	90.871	93.183
모델 136	76.563	79.776
모델 137	88.231	90.713
모델 138	78.650	81.497
모델 139	68.213	70.878
모델 140	86.730	89.286
모델 141	44.945	47.994
모델 142	75.457	78.232
모델 143	83.536	86.096
모델 144	89.449	92.118
모델 145	90.454	92.748
모델 146	84.642	88.000
모델 147	85.827	89.778
모델 148	80.241	83.175
모델 149	74.791	77.988
모델 150	4.830	5.920
모델 151	82.374	85.310
u-net-machine-reading-comprehension-with	71.417	74.869
모델 153	80.354	83.329
모델 154	78.876	82.524
모델 155	74.329	77.396
모델 156	85.748	88.709
pay-attention-to-mlps	-	78.3
모델 158	81.731	84.862
spanbert-improving-pre-training-by	85.7	88.7
모델 160	88.298	91.078
모델 161	88.761	91.745
모델 162	79.745	83.020
모델 163	48.804	48.815
모델 164	76.710	79.659
모델 165	74.656	77.404
luke-deep-contextualized-entity	-	90.2
모델 167	85.150	87.715
stochastic-answer-networks-for-machine	71.316	73.704
모델 169	79.779	83.099
모델 170	85.827	88.699
모델 171	90.939	93.214
모델 172	78.052	81.174
모델 173	88.569	91.287
모델 174	74.577	77.464
모델 175	59.174	62.093
모델 176	88.434	90.918
모델 177	63.338	67.422
모델 178	84.123	87.013
모델 179	87.700	90.588
모델 180	73.099	76.236
모델 181	87.994	90.944
모델 182	88.107	90.902
모델 183	86.933	90.037
fusionnet-fusing-via-fully-aware-attention	70.300	72.484
모델 185	86.211	88.848
모델 186	87.046	89.899
모델 187	78.650	81.474
모델 188	89.743	92.180
모델 189	68.766	71.662
모델 190	90.081	92.457
모델 191	82.431	85.178
모델 192	78.933	81.863
모델 193	89.923	92.425
sg-net-syntax-guided-machine-reading	86.211	88.848
모델 195	87.193	89.934
모델 196	88.851	91.486
모델 197	88.603	91.299
모델 198	89.528	92.059
모델 199	84.202	86.767
모델 200	86.673	89.147
모델 201	83.040	85.892
모델 202	80.896	83.604
모델 203	88.107	91.419
모델 204	72.670	75.507
모델 205	86.594	89.082
모델 206	90.521	92.824
모델 207	78.933	81.863
모델 208	83.142	85.873
모델 209	79.993	83.039
모델 210	82.882	86.002
모델 211	88.073	91.179
모델 212	77.262	80.258
모델 213	82.577	85.603
retrospective-reader-for-machine-reading	90.578	92.978
roberta-a-robustly-optimized-bert-pretraining	86.820	89.795
모델 216	88.874	91.546
모델 217	49.695	49.701
모델 218	87.994	90.944
모델 219	90.059	92.517
모델 220	84.823	87.489
모델 221	89.133	91.666
모델 222	90.420	92.807
모델 223	77.262	80.258
모델 224	82.126	84.624
모델 225	88.592	91.286
모델 226	90.126	92.535
모델 227	85.703	88.400
모델 228	57.707	62.341
모델 229	83.469	86.043
albert-a-lite-bert-for-self-supervised	89.731	92.215
모델 231	83.525	86.222
모델 232	83.119	85.510
모델 233	86.572	89.063
모델 234	86.572	89.063
모델 235	74.385	77.308
모델 236	90.002	92.425
모델 237	69.476	72.857
모델 238	27.217	29.597
모델 239	72.072	75.513
모델 240	74.791	77.988
모델 241	90.860	93.100
모델 242	88.355	91.019
모델 243	85.850	88.449
모델 244	86.098	89.634
luke-deep-contextualized-entity	87.429	90.163
모델 246	82.724	85.491
모델 247	70.763	74.449
모델 248	86.166	88.886
모델 249	80.749	83.851
모델 250	65.256	69.206
모델 251	81.110	84.386
모델 252	71.462	74.434
모델 253	82.972	85.810
모델 254	66.610	70.303
sg-net-syntax-guided-machine-reading	85.229	87.926
모델 256	68.021	71.583
모델 257	89.235	91.900
모델 258	87.870	90.823
모델 259	73.505	76.424
모델 260	85.838	88.921
retrospective-reader-for-machine-reading	89.562	92.052
모델 262	89.404	91.964
모델 263	82.306	85.670
모델 264	74.746	78.227
retrospective-reader-for-machine-reading	90.115	92.580
모델 266	89.235	91.739
모델 267	85.838	88.921
모델 268	56.545	59.546
모델 269	71.699	74.430
모델 270	72.072	75.513
모델 271	85.082	87.615
모델 272	81.573	84.535
모델 273	77.319	80.310
모델 274	89.325	91.939
모델 275	71.293	74.578
모델 276	80.591	83.391
모델 277	82.961	86.075
모델 278	80.422	83.118
모델 279	88.998	91.635
모델 280	86.403	89.148
모델 281	85.872	88.989
모델 282	65.719	69.381
모델 283	89.777	92.312
모델 284	80.005	83.208
모델 285	73.302	76.284
retrospective-reader-for-machine-reading	88.107	91.419