Die Bewältigung von WinoGrande-Schemata

Wir haben das sequenzbasierte Modell T5 zur Bewältigung der AI2 WinoGrande Challenge eingesetzt, indem wir jedes Beispiel in zwei Eingabetextzeichenketten zerlegten, die jeweils eine Hypothese enthielten, und die Wahrscheinlichkeiten, die dem „Entailment“-Token zugeordnet wurden, als Bewertung der Hypothese verwendeten. Unsere erste (und einzige) Abgabe zum offiziellen Rangliste-Ergebnis ergab am 13. März 2020 einen AUC-Wert von 0,7673, was zum jetzigen Zeitpunkt das beste bekannte Ergebnis ist und den bisherigen Stand der Technik um mehr als fünf Punkte übertrifft.