Question Answering On Squad20
評価指標
EM
F1
評価結果
このベンチマークにおける各モデルのパフォーマンス結果
比較表
| モデル名 | EM | F1 |
|---|---|---|
| モデル 1 | 80.208 | 83.149 |
| モデル 2 | 79.971 | 83.184 |
| モデル 3 | 80.038 | 82.796 |
| モデル 4 | 80.117 | 83.189 |
| モデル 5 | 82.803 | 85.863 |
| モデル 6 | 74.769 | 77.706 |
| モデル 7 | 89.021 | 91.765 |
| albert-a-lite-bert-for-self-supervised | 88.107 | 90.902 |
| モデル 9 | 80.377 | 83.262 |
| モデル 10 | 86.436 | 89.086 |
| モデル 11 | 75.344 | 78.381 |
| モデル 12 | 84.800 | 87.864 |
| モデル 13 | 73.742 | 76.858 |
| モデル 14 | 80.388 | 82.908 |
| モデル 15 | 78.933 | 81.863 |
| モデル 16 | 78.052 | 81.174 |
| モデル 17 | 90.002 | 92.497 |
| モデル 18 | 84.924 | 88.204 |
| ensemble-albert-on-squad-2-0 | - | 90.123 |
| モデル 20 | 79.181 | 82.259 |
| モデル 21 | 90.487 | 92.894 |
| モデル 22 | 85.838 | 88.921 |
| モデル 23 | 82.995 | 86.035 |
| モデル 24 | 84.642 | 88.000 |
| モデル 25 | 89.551 | 92.366 |
| モデル 26 | 77.003 | 80.209 |
| モデル 27 | 89.562 | 92.226 |
| モデル 28 | 87.847 | 90.532 |
| モデル 29 | 86.448 | 89.586 |
| モデル 30 | 87.802 | 90.872 |
| deep-contextualized-word-representations | 63.372 | 66.251 |
| モデル 32 | 84.642 | 88.000 |
| モデル 33 | 90.600 | 92.899 |
| モデル 34 | 79.948 | 83.023 |
| モデル 35 | 78.357 | 81.500 |
| モデル 36 | 90.679 | 92.948 |
| モデル 37 | 90.194 | 92.594 |
| モデル 38 | 80.411 | 83.457 |
| モデル 39 | 88.107 | 90.902 |
| モデル 40 | 82.126 | 84.820 |
| モデル 41 | 88.614 | 91.303 |
| モデル 42 | 87.429 | 90.163 |
| モデル 43 | 90.284 | 92.691 |
| モデル 44 | 88.050 | 90.645 |
| モデル 45 | 82.024 | 84.854 |
| read-verify-machine-reading-comprehension | 71.767 | 74.295 |
| モデル 47 | 89.461 | 92.134 |
| モデル 48 | 87.949 | 90.818 |
| sg-net-syntax-guided-machine-reading | 88.174 | 90.702 |
| deberta-decoding-enhanced-bert-with | 88.0 | 90.7 |
| モデル 51 | 58.508 | 62.045 |
| モデル 52 | 59.332 | 62.305 |
| モデル 53 | 82.713 | 85.584 |
| モデル 54 | 88.637 | 91.230 |
| モデル 55 | 79.779 | 82.912 |
| モデル 56 | 76.055 | 79.329 |
| モデル 57 | 90.420 | 92.799 |
| モデル 58 | 83.142 | 85.873 |
| モデル 59 | 81.979 | 84.846 |
| モデル 60 | 72.884 | 76.217 |
| モデル 61 | 85.003 | 87.833 |
| モデル 62 | 88.998 | 91.635 |
| モデル 63 | 81.178 | 84.251 |
| モデル 64 | 78.594 | 81.445 |
| モデル 65 | 63.372 | 66.251 |
| xlnet-generalized-autoregressive-pretraining | 87.926 | 90.689 |
| モデル 67 | 69.262 | 72.642 |
| モデル 68 | 65.651 | 68.866 |
| モデル 69 | 71.666 | 75.457 |
| モデル 70 | 88.197 | 90.830 |
| モデル 71 | 84.721 | 87.117 |
| モデル 72 | 90.115 | 92.580 |
| モデル 73 | 72.884 | 76.217 |
| stochastic-answer-networks-for-machine | 68.653 | 71.439 |
| モデル 75 | 76.055 | 79.329 |
| semantics-aware-bert-for-language | 84.800 | 87.864 |
| モデル 77 | 87.847 | 91.265 |
| モデル 78 | 85.229 | 87.926 |
| モデル 79 | 88.186 | 90.939 |
| モデル 80 | 88.050 | 91.036 |
| モデル 81 | 86.346 | 89.133 |
| モデル 82 | 85.240 | 87.901 |
| モデル 83 | 79.632 | 82.852 |
| モデル 84 | 80.715 | 83.827 |
| モデル 85 | 88.592 | 90.859 |
| モデル 86 | 80.456 | 83.509 |
| semantics-aware-bert-for-language | 86.166 | 88.886 |
| モデル 88 | 84.123 | 87.013 |
| モデル 89 | 79.971 | 83.266 |
| モデル 90 | 69.476 | 72.857 |
| モデル 91 | 77.262 | 80.258 |
| モデル 92 | 84.620 | 87.625 |
| モデル 93 | 84.721 | 87.117 |
| モデル 94 | 86.820 | 89.795 |
| モデル 95 | 89.325 | 91.994 |
| モデル 96 | 80.343 | 83.243 |
| モデル 97 | 84.202 | 86.767 |
| モデル 98 | 0.068 | 3.971 |
| モデル 99 | 84.292 | 86.967 |
| モデル 100 | 78.481 | 81.531 |
| モデル 101 | 86.651 | 89.595 |
| モデル 102 | 85.173 | 88.425 |
| モデル 103 | 80.354 | 83.329 |
| モデル 104 | 86.166 | 88.886 |
| モデル 105 | 89.348 | 91.985 |
| モデル 106 | 89.224 | 91.853 |
| モデル 107 | 68.213 | 70.878 |
| semantics-aware-bert-for-language | 86.166 | 88.886 |
| モデル 109 | 83.819 | 86.669 |
| モデル 110 | 84.123 | 87.013 |
| モデル 111 | 40.397 | 43.213 |
| モデル 112 | 84.834 | 87.644 |
| モデル 113 | 80.140 | 82.962 |
| モデル 114 | 56.545 | 59.546 |
| モデル 115 | 88.716 | 91.365 |
| モデル 116 | 90.442 | 92.877 |
| モデル 117 | 83.457 | 86.122 |
| モデル 118 | 85.884 | 88.621 |
| モデル 119 | 89.449 | 92.118 |
| モデル 120 | 48.883 | 48.883 |
| モデル 121 | 75.073 | 77.805 |
| モデル 122 | 90.724 | 93.011 |
| モデル 123 | 85.872 | 88.793 |
| モデル 124 | 88.524 | 91.256 |
| モデル 125 | 87.147 | 89.474 |
| モデル 126 | 78.357 | 81.500 |
| モデル 127 | 67.897 | 70.884 |
| モデル 128 | 63.327 | 66.633 |
| モデル 129 | 88.107 | 90.902 |
| モデル 130 | 83.751 | 86.594 |
| モデル 131 | 90.386 | 92.777 |
| sg-net-syntax-guided-machine-reading | 87.238 | 90.071 |
| モデル 133 | 83.051 | 85.737 |
| モデル 134 | 74.272 | 77.052 |
| モデル 135 | 90.871 | 93.183 |
| モデル 136 | 76.563 | 79.776 |
| モデル 137 | 88.231 | 90.713 |
| モデル 138 | 78.650 | 81.497 |
| モデル 139 | 68.213 | 70.878 |
| モデル 140 | 86.730 | 89.286 |
| モデル 141 | 44.945 | 47.994 |
| モデル 142 | 75.457 | 78.232 |
| モデル 143 | 83.536 | 86.096 |
| モデル 144 | 89.449 | 92.118 |
| モデル 145 | 90.454 | 92.748 |
| モデル 146 | 84.642 | 88.000 |
| モデル 147 | 85.827 | 89.778 |
| モデル 148 | 80.241 | 83.175 |
| モデル 149 | 74.791 | 77.988 |
| モデル 150 | 4.830 | 5.920 |
| モデル 151 | 82.374 | 85.310 |
| u-net-machine-reading-comprehension-with | 71.417 | 74.869 |
| モデル 153 | 80.354 | 83.329 |
| モデル 154 | 78.876 | 82.524 |
| モデル 155 | 74.329 | 77.396 |
| モデル 156 | 85.748 | 88.709 |
| pay-attention-to-mlps | - | 78.3 |
| モデル 158 | 81.731 | 84.862 |
| spanbert-improving-pre-training-by | 85.7 | 88.7 |
| モデル 160 | 88.298 | 91.078 |
| モデル 161 | 88.761 | 91.745 |
| モデル 162 | 79.745 | 83.020 |
| モデル 163 | 48.804 | 48.815 |
| モデル 164 | 76.710 | 79.659 |
| モデル 165 | 74.656 | 77.404 |
| luke-deep-contextualized-entity | - | 90.2 |
| モデル 167 | 85.150 | 87.715 |
| stochastic-answer-networks-for-machine | 71.316 | 73.704 |
| モデル 169 | 79.779 | 83.099 |
| モデル 170 | 85.827 | 88.699 |
| モデル 171 | 90.939 | 93.214 |
| モデル 172 | 78.052 | 81.174 |
| モデル 173 | 88.569 | 91.287 |
| モデル 174 | 74.577 | 77.464 |
| モデル 175 | 59.174 | 62.093 |
| モデル 176 | 88.434 | 90.918 |
| モデル 177 | 63.338 | 67.422 |
| モデル 178 | 84.123 | 87.013 |
| モデル 179 | 87.700 | 90.588 |
| モデル 180 | 73.099 | 76.236 |
| モデル 181 | 87.994 | 90.944 |
| モデル 182 | 88.107 | 90.902 |
| モデル 183 | 86.933 | 90.037 |
| fusionnet-fusing-via-fully-aware-attention | 70.300 | 72.484 |
| モデル 185 | 86.211 | 88.848 |
| モデル 186 | 87.046 | 89.899 |
| モデル 187 | 78.650 | 81.474 |
| モデル 188 | 89.743 | 92.180 |
| モデル 189 | 68.766 | 71.662 |
| モデル 190 | 90.081 | 92.457 |
| モデル 191 | 82.431 | 85.178 |
| モデル 192 | 78.933 | 81.863 |
| モデル 193 | 89.923 | 92.425 |
| sg-net-syntax-guided-machine-reading | 86.211 | 88.848 |
| モデル 195 | 87.193 | 89.934 |
| モデル 196 | 88.851 | 91.486 |
| モデル 197 | 88.603 | 91.299 |
| モデル 198 | 89.528 | 92.059 |
| モデル 199 | 84.202 | 86.767 |
| モデル 200 | 86.673 | 89.147 |
| モデル 201 | 83.040 | 85.892 |
| モデル 202 | 80.896 | 83.604 |
| モデル 203 | 88.107 | 91.419 |
| モデル 204 | 72.670 | 75.507 |
| モデル 205 | 86.594 | 89.082 |
| モデル 206 | 90.521 | 92.824 |
| モデル 207 | 78.933 | 81.863 |
| モデル 208 | 83.142 | 85.873 |
| モデル 209 | 79.993 | 83.039 |
| モデル 210 | 82.882 | 86.002 |
| モデル 211 | 88.073 | 91.179 |
| モデル 212 | 77.262 | 80.258 |
| モデル 213 | 82.577 | 85.603 |
| retrospective-reader-for-machine-reading | 90.578 | 92.978 |
| roberta-a-robustly-optimized-bert-pretraining | 86.820 | 89.795 |
| モデル 216 | 88.874 | 91.546 |
| モデル 217 | 49.695 | 49.701 |
| モデル 218 | 87.994 | 90.944 |
| モデル 219 | 90.059 | 92.517 |
| モデル 220 | 84.823 | 87.489 |
| モデル 221 | 89.133 | 91.666 |
| モデル 222 | 90.420 | 92.807 |
| モデル 223 | 77.262 | 80.258 |
| モデル 224 | 82.126 | 84.624 |
| モデル 225 | 88.592 | 91.286 |
| モデル 226 | 90.126 | 92.535 |
| モデル 227 | 85.703 | 88.400 |
| モデル 228 | 57.707 | 62.341 |
| モデル 229 | 83.469 | 86.043 |
| albert-a-lite-bert-for-self-supervised | 89.731 | 92.215 |
| モデル 231 | 83.525 | 86.222 |
| モデル 232 | 83.119 | 85.510 |
| モデル 233 | 86.572 | 89.063 |
| モデル 234 | 86.572 | 89.063 |
| モデル 235 | 74.385 | 77.308 |
| モデル 236 | 90.002 | 92.425 |
| モデル 237 | 69.476 | 72.857 |
| モデル 238 | 27.217 | 29.597 |
| モデル 239 | 72.072 | 75.513 |
| モデル 240 | 74.791 | 77.988 |
| モデル 241 | 90.860 | 93.100 |
| モデル 242 | 88.355 | 91.019 |
| モデル 243 | 85.850 | 88.449 |
| モデル 244 | 86.098 | 89.634 |
| luke-deep-contextualized-entity | 87.429 | 90.163 |
| モデル 246 | 82.724 | 85.491 |
| モデル 247 | 70.763 | 74.449 |
| モデル 248 | 86.166 | 88.886 |
| モデル 249 | 80.749 | 83.851 |
| モデル 250 | 65.256 | 69.206 |
| モデル 251 | 81.110 | 84.386 |
| モデル 252 | 71.462 | 74.434 |
| モデル 253 | 82.972 | 85.810 |
| モデル 254 | 66.610 | 70.303 |
| sg-net-syntax-guided-machine-reading | 85.229 | 87.926 |
| モデル 256 | 68.021 | 71.583 |
| モデル 257 | 89.235 | 91.900 |
| モデル 258 | 87.870 | 90.823 |
| モデル 259 | 73.505 | 76.424 |
| モデル 260 | 85.838 | 88.921 |
| retrospective-reader-for-machine-reading | 89.562 | 92.052 |
| モデル 262 | 89.404 | 91.964 |
| モデル 263 | 82.306 | 85.670 |
| モデル 264 | 74.746 | 78.227 |
| retrospective-reader-for-machine-reading | 90.115 | 92.580 |
| モデル 266 | 89.235 | 91.739 |
| モデル 267 | 85.838 | 88.921 |
| モデル 268 | 56.545 | 59.546 |
| モデル 269 | 71.699 | 74.430 |
| モデル 270 | 72.072 | 75.513 |
| モデル 271 | 85.082 | 87.615 |
| モデル 272 | 81.573 | 84.535 |
| モデル 273 | 77.319 | 80.310 |
| モデル 274 | 89.325 | 91.939 |
| モデル 275 | 71.293 | 74.578 |
| モデル 276 | 80.591 | 83.391 |
| モデル 277 | 82.961 | 86.075 |
| モデル 278 | 80.422 | 83.118 |
| モデル 279 | 88.998 | 91.635 |
| モデル 280 | 86.403 | 89.148 |
| モデル 281 | 85.872 | 88.989 |
| モデル 282 | 65.719 | 69.381 |
| モデル 283 | 89.777 | 92.312 |
| モデル 284 | 80.005 | 83.208 |
| モデル 285 | 73.302 | 76.284 |
| retrospective-reader-for-machine-reading | 88.107 | 91.419 |