HyperAIHyperAI

Command Palette

Search for a command to run...

Ein überraschend robustes Trickverfahren für die Winograd-Schema-Herausforderung

Vid Kocijan Ana-Maria Crețu Oana-Maria Camburu Yordan Yordanov Thomas Lukasiewicz

Zusammenfassung

Das Datensatz-Winograd-Schema-Challenge (WSC) WSC273 und sein Inferenz Pendant WNLI sind weit verbreitete Benchmarks für die Verarbeitung natürlicher Sprache und das常识推理 (commonsense reasoning). In dieser Arbeit zeigen wir, dass die Leistung von drei Sprachmodellen auf WSC273 stark verbessert wird, wenn sie an einem ähnlichen Datensatz für Pronomendisambiguierung (bezeichnet als WSCR) weiter trainiert werden. Zudem generieren wir einen großen unüberwachten Datensatz im Stil der WSC. Durch das Feinjustieren des Sprachmodells BERT sowohl an dem vorgestellten als auch am WSCR-Datensatz erreichen wir eine Gesamtgenauigkeit von 72,5 % und 74,7 % auf WSC273 und WNLI, was eine Verbesserung um jeweils 8,8 % und 9,6 % gegenüber den bisherigen Stand-der-Technik-Lösungen darstellt. Darüber hinaus sind unsere feinjustierten Modelle auch in den "komplexen" Teilmengen von WSC273, die von Trichelair et al. (2018) eingeführt wurden, konsequent robuster.请注意,"常识推理"在德语中没有直接对应的术语,因此这里保留了英文 "commonsense reasoning" 并加了引号以示强调。如果您希望使用一个更接近的德语术语,可以考虑 "Alltagsverstandschlussfolgerung" 或者 "Sinnverstandschlussfolgerung"。但通常情况下,直接使用英文术语更为常见。


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Ein überraschend robustes Trickverfahren für die Winograd-Schema-Herausforderung | Paper | HyperAI