SpanBERT: Die Verbesserung der Vorverarbeitung durch die Darstellung und Vorhersage von Textabschnitten

Wir stellen SpanBERT vor, eine Vortrainingsmethode, die darauf ausgelegt ist, Textabschnitte besser darzustellen und vorherzusagen. Unser Ansatz erweitert BERT durch (1) das Maskieren zusammenhängender zufälliger Textabschnitte anstelle von zufälligen Tokens und (2) das Training der Randrepräsentationen dieser Abschnitte, um den gesamten Inhalt des maskierten Abschnitts zuvorzusagen, ohne auf die individuellen Tokenrepräsentationen innerhalb dieses Abschnitts zurückzugreifen. SpanBERT übertrifft BERT und unsere besser kalibrierten Baseline-Modelle konsequent, insbesondere bei Aufgaben zur Auswahl von Textabschnitten wie Fragebeantwortung und Koreferenzauflösung. Insbesondere erreicht unser einzelnes Modell mit denselben Trainingsdaten und derselben Modellgröße wie BERT-large 94,6 % und 88,7 % F1-Wert auf SQuAD 1.1 und 2.0 respektive. Wir erzielen auch einen neuen Stand der Technik in der Aufgabe der Koreferenzauflösung im OntoNotes-Korpus (79,6 % F1-Wert), starke Leistungen beim TACRED-Relationsextraktionsbenchmark und zeigen sogar Verbesserungen bei GLUE.