Ein überraschend robustes Trickverfahren für die Winograd-Schema-Herausforderung

Das Datensatz-Winograd-Schema-Challenge (WSC) WSC273 und sein Inferenz Pendant WNLI sind weit verbreitete Benchmarks für die Verarbeitung natürlicher Sprache und das常识推理 (commonsense reasoning). In dieser Arbeit zeigen wir, dass die Leistung von drei Sprachmodellen auf WSC273 stark verbessert wird, wenn sie an einem ähnlichen Datensatz für Pronomendisambiguierung (bezeichnet als WSCR) weiter trainiert werden. Zudem generieren wir einen großen unüberwachten Datensatz im Stil der WSC. Durch das Feinjustieren des Sprachmodells BERT sowohl an dem vorgestellten als auch am WSCR-Datensatz erreichen wir eine Gesamtgenauigkeit von 72,5 % und 74,7 % auf WSC273 und WNLI, was eine Verbesserung um jeweils 8,8 % und 9,6 % gegenüber den bisherigen Stand-der-Technik-Lösungen darstellt. Darüber hinaus sind unsere feinjustierten Modelle auch in den "komplexen" Teilmengen von WSC273, die von Trichelair et al. (2018) eingeführt wurden, konsequent robuster.请注意，"常识推理"在德语中没有直接对应的术语，因此这里保留了英文 "commonsense reasoning" 并加了引号以示强调。如果您希望使用一个更接近的德语术语，可以考虑 "Alltagsverstandschlussfolgerung" 或者 "Sinnverstandschlussfolgerung"。但通常情况下，直接使用英文术语更为常见。