Eine wichtige Aufgabe bei der Gestaltung von Frage-Antwort-Systemen ist die Auswahl der Antwort-Satz (AS2): die Auswahl des Satzes, der die Antwort auf eine Frage enthält (oder bildet), aus einer Menge relevanter, abgerufener Dokumente. In diesem Paper stellen wir drei neuartige, auf Satzebene basierende Vortrainingsziele für Transformer vor, die sowohl semantische Informationen auf Absatz- als auch auf Dokumentebene innerhalb und zwischen Dokumenten einbeziehen, um die Leistung von Transformers für AS2 zu verbessern und die Abhängigkeit von großen, gelabelten Datensätzen zu verringern. Konkret wird das Modell damit beauftragt, vorherzusagen, ob: (i) zwei Sätze aus demselben Absatz stammen, (ii) ein gegebener Satz aus einem gegebenen Absatz stammt, und (iii) zwei Absätze aus demselben Dokument stammen. Unsere Experimente an drei öffentlichen und einer industriellen AS2-Datensammlung zeigen die empirische Überlegenheit unserer vortrainierten Transformers gegenüber Baseline-Modellen wie RoBERTa und ELECTRA für die Aufgabe AS2.