Aborder les schémas WinoGrande

Nous avons appliqué le modèle de séquence à séquence T5 pour relever le défi AI2 WinoGrande en décomposant chaque exemple en deux chaînes de texte d'entrée, chacune contenant une hypothèse, et en utilisant les probabilités attribuées au jeton « entailment » comme mesure de l'hypothèse. Notre première (et unique) soumission au classement officiel a obtenu un AUC de 0,7673 le 13 mars 2020, ce qui constitue le meilleur résultat connu à ce jour et dépasse l'état de l'art précédent de plus de cinq points.