Question Answering On Squad20

Métriques

Résultats

Résultats de performance de divers modèles sur ce benchmark

Tableau comparatif

Nom du modèle	EM	F1
Modèle 1	80.208	83.149
Modèle 2	79.971	83.184
Modèle 3	80.038	82.796
Modèle 4	80.117	83.189
Modèle 5	82.803	85.863
Modèle 6	74.769	77.706
Modèle 7	89.021	91.765
albert-a-lite-bert-for-self-supervised	88.107	90.902
Modèle 9	80.377	83.262
Modèle 10	86.436	89.086
Modèle 11	75.344	78.381
Modèle 12	84.800	87.864
Modèle 13	73.742	76.858
Modèle 14	80.388	82.908
Modèle 15	78.933	81.863
Modèle 16	78.052	81.174
Modèle 17	90.002	92.497
Modèle 18	84.924	88.204
ensemble-albert-on-squad-2-0	-	90.123
Modèle 20	79.181	82.259
Modèle 21	90.487	92.894
Modèle 22	85.838	88.921
Modèle 23	82.995	86.035
Modèle 24	84.642	88.000
Modèle 25	89.551	92.366
Modèle 26	77.003	80.209
Modèle 27	89.562	92.226
Modèle 28	87.847	90.532
Modèle 29	86.448	89.586
Modèle 30	87.802	90.872
deep-contextualized-word-representations	63.372	66.251
Modèle 32	84.642	88.000
Modèle 33	90.600	92.899
Modèle 34	79.948	83.023
Modèle 35	78.357	81.500
Modèle 36	90.679	92.948
Modèle 37	90.194	92.594
Modèle 38	80.411	83.457
Modèle 39	88.107	90.902
Modèle 40	82.126	84.820
Modèle 41	88.614	91.303
Modèle 42	87.429	90.163
Modèle 43	90.284	92.691
Modèle 44	88.050	90.645
Modèle 45	82.024	84.854
read-verify-machine-reading-comprehension	71.767	74.295
Modèle 47	89.461	92.134
Modèle 48	87.949	90.818
sg-net-syntax-guided-machine-reading	88.174	90.702
deberta-decoding-enhanced-bert-with	88.0	90.7
Modèle 51	58.508	62.045
Modèle 52	59.332	62.305
Modèle 53	82.713	85.584
Modèle 54	88.637	91.230
Modèle 55	79.779	82.912
Modèle 56	76.055	79.329
Modèle 57	90.420	92.799
Modèle 58	83.142	85.873
Modèle 59	81.979	84.846
Modèle 60	72.884	76.217
Modèle 61	85.003	87.833
Modèle 62	88.998	91.635
Modèle 63	81.178	84.251
Modèle 64	78.594	81.445
Modèle 65	63.372	66.251
xlnet-generalized-autoregressive-pretraining	87.926	90.689
Modèle 67	69.262	72.642
Modèle 68	65.651	68.866
Modèle 69	71.666	75.457
Modèle 70	88.197	90.830
Modèle 71	84.721	87.117
Modèle 72	90.115	92.580
Modèle 73	72.884	76.217
stochastic-answer-networks-for-machine	68.653	71.439
Modèle 75	76.055	79.329
semantics-aware-bert-for-language	84.800	87.864
Modèle 77	87.847	91.265
Modèle 78	85.229	87.926
Modèle 79	88.186	90.939
Modèle 80	88.050	91.036
Modèle 81	86.346	89.133
Modèle 82	85.240	87.901
Modèle 83	79.632	82.852
Modèle 84	80.715	83.827
Modèle 85	88.592	90.859
Modèle 86	80.456	83.509
semantics-aware-bert-for-language	86.166	88.886
Modèle 88	84.123	87.013
Modèle 89	79.971	83.266
Modèle 90	69.476	72.857
Modèle 91	77.262	80.258
Modèle 92	84.620	87.625
Modèle 93	84.721	87.117
Modèle 94	86.820	89.795
Modèle 95	89.325	91.994
Modèle 96	80.343	83.243
Modèle 97	84.202	86.767
Modèle 98	0.068	3.971
Modèle 99	84.292	86.967
Modèle 100	78.481	81.531
Modèle 101	86.651	89.595
Modèle 102	85.173	88.425
Modèle 103	80.354	83.329
Modèle 104	86.166	88.886
Modèle 105	89.348	91.985
Modèle 106	89.224	91.853
Modèle 107	68.213	70.878
semantics-aware-bert-for-language	86.166	88.886
Modèle 109	83.819	86.669
Modèle 110	84.123	87.013
Modèle 111	40.397	43.213
Modèle 112	84.834	87.644
Modèle 113	80.140	82.962
Modèle 114	56.545	59.546
Modèle 115	88.716	91.365
Modèle 116	90.442	92.877
Modèle 117	83.457	86.122
Modèle 118	85.884	88.621
Modèle 119	89.449	92.118
Modèle 120	48.883	48.883
Modèle 121	75.073	77.805
Modèle 122	90.724	93.011
Modèle 123	85.872	88.793
Modèle 124	88.524	91.256
Modèle 125	87.147	89.474
Modèle 126	78.357	81.500
Modèle 127	67.897	70.884
Modèle 128	63.327	66.633
Modèle 129	88.107	90.902
Modèle 130	83.751	86.594
Modèle 131	90.386	92.777
sg-net-syntax-guided-machine-reading	87.238	90.071
Modèle 133	83.051	85.737
Modèle 134	74.272	77.052
Modèle 135	90.871	93.183
Modèle 136	76.563	79.776
Modèle 137	88.231	90.713
Modèle 138	78.650	81.497
Modèle 139	68.213	70.878
Modèle 140	86.730	89.286
Modèle 141	44.945	47.994
Modèle 142	75.457	78.232
Modèle 143	83.536	86.096
Modèle 144	89.449	92.118
Modèle 145	90.454	92.748
Modèle 146	84.642	88.000
Modèle 147	85.827	89.778
Modèle 148	80.241	83.175
Modèle 149	74.791	77.988
Modèle 150	4.830	5.920
Modèle 151	82.374	85.310
u-net-machine-reading-comprehension-with	71.417	74.869
Modèle 153	80.354	83.329
Modèle 154	78.876	82.524
Modèle 155	74.329	77.396
Modèle 156	85.748	88.709
pay-attention-to-mlps	-	78.3
Modèle 158	81.731	84.862
spanbert-improving-pre-training-by	85.7	88.7
Modèle 160	88.298	91.078
Modèle 161	88.761	91.745
Modèle 162	79.745	83.020
Modèle 163	48.804	48.815
Modèle 164	76.710	79.659
Modèle 165	74.656	77.404
luke-deep-contextualized-entity	-	90.2
Modèle 167	85.150	87.715
stochastic-answer-networks-for-machine	71.316	73.704
Modèle 169	79.779	83.099
Modèle 170	85.827	88.699
Modèle 171	90.939	93.214
Modèle 172	78.052	81.174
Modèle 173	88.569	91.287
Modèle 174	74.577	77.464
Modèle 175	59.174	62.093
Modèle 176	88.434	90.918
Modèle 177	63.338	67.422
Modèle 178	84.123	87.013
Modèle 179	87.700	90.588
Modèle 180	73.099	76.236
Modèle 181	87.994	90.944
Modèle 182	88.107	90.902
Modèle 183	86.933	90.037
fusionnet-fusing-via-fully-aware-attention	70.300	72.484
Modèle 185	86.211	88.848
Modèle 186	87.046	89.899
Modèle 187	78.650	81.474
Modèle 188	89.743	92.180
Modèle 189	68.766	71.662
Modèle 190	90.081	92.457
Modèle 191	82.431	85.178
Modèle 192	78.933	81.863
Modèle 193	89.923	92.425
sg-net-syntax-guided-machine-reading	86.211	88.848
Modèle 195	87.193	89.934
Modèle 196	88.851	91.486
Modèle 197	88.603	91.299
Modèle 198	89.528	92.059
Modèle 199	84.202	86.767
Modèle 200	86.673	89.147
Modèle 201	83.040	85.892
Modèle 202	80.896	83.604
Modèle 203	88.107	91.419
Modèle 204	72.670	75.507
Modèle 205	86.594	89.082
Modèle 206	90.521	92.824
Modèle 207	78.933	81.863
Modèle 208	83.142	85.873
Modèle 209	79.993	83.039
Modèle 210	82.882	86.002
Modèle 211	88.073	91.179
Modèle 212	77.262	80.258
Modèle 213	82.577	85.603
retrospective-reader-for-machine-reading	90.578	92.978
roberta-a-robustly-optimized-bert-pretraining	86.820	89.795
Modèle 216	88.874	91.546
Modèle 217	49.695	49.701
Modèle 218	87.994	90.944
Modèle 219	90.059	92.517
Modèle 220	84.823	87.489
Modèle 221	89.133	91.666
Modèle 222	90.420	92.807
Modèle 223	77.262	80.258
Modèle 224	82.126	84.624
Modèle 225	88.592	91.286
Modèle 226	90.126	92.535
Modèle 227	85.703	88.400
Modèle 228	57.707	62.341
Modèle 229	83.469	86.043
albert-a-lite-bert-for-self-supervised	89.731	92.215
Modèle 231	83.525	86.222
Modèle 232	83.119	85.510
Modèle 233	86.572	89.063
Modèle 234	86.572	89.063
Modèle 235	74.385	77.308
Modèle 236	90.002	92.425
Modèle 237	69.476	72.857
Modèle 238	27.217	29.597
Modèle 239	72.072	75.513
Modèle 240	74.791	77.988
Modèle 241	90.860	93.100
Modèle 242	88.355	91.019
Modèle 243	85.850	88.449
Modèle 244	86.098	89.634
luke-deep-contextualized-entity	87.429	90.163
Modèle 246	82.724	85.491
Modèle 247	70.763	74.449
Modèle 248	86.166	88.886
Modèle 249	80.749	83.851
Modèle 250	65.256	69.206
Modèle 251	81.110	84.386
Modèle 252	71.462	74.434
Modèle 253	82.972	85.810
Modèle 254	66.610	70.303
sg-net-syntax-guided-machine-reading	85.229	87.926
Modèle 256	68.021	71.583
Modèle 257	89.235	91.900
Modèle 258	87.870	90.823
Modèle 259	73.505	76.424
Modèle 260	85.838	88.921
retrospective-reader-for-machine-reading	89.562	92.052
Modèle 262	89.404	91.964
Modèle 263	82.306	85.670
Modèle 264	74.746	78.227
retrospective-reader-for-machine-reading	90.115	92.580
Modèle 266	89.235	91.739
Modèle 267	85.838	88.921
Modèle 268	56.545	59.546
Modèle 269	71.699	74.430
Modèle 270	72.072	75.513
Modèle 271	85.082	87.615
Modèle 272	81.573	84.535
Modèle 273	77.319	80.310
Modèle 274	89.325	91.939
Modèle 275	71.293	74.578
Modèle 276	80.591	83.391
Modèle 277	82.961	86.075
Modèle 278	80.422	83.118
Modèle 279	88.998	91.635
Modèle 280	86.403	89.148
Modèle 281	85.872	88.989
Modèle 282	65.719	69.381
Modèle 283	89.777	92.312
Modèle 284	80.005	83.208
Modèle 285	73.302	76.284
retrospective-reader-for-machine-reading	88.107	91.419