Wir stellen ReasonBert vor, eine Vortrainingsmethode, die Sprachmodelle mit der Fähigkeit ausstatten, über langreichweitige Beziehungen und mehrere, möglicherweise hybride Kontexte zu schließen. Im Gegensatz zu bestehenden Vortrainingsansätzen, die lediglich Lernsignale aus lokalen Kontexten natürlicher Texte gewinnen, schlagen wir einen verallgemeinerten Ansatz des entfernten Supervisions vor, um automatisch mehrere Textstücke und Tabellen miteinander zu verknüpfen und so Vortrainingsbeispiele zu generieren, die langreichweitiges Schließen erfordern. Verschiedene Arten des Schließens werden simuliert, darunter die Kreuzung mehrerer Beweisstücke, die Brücke zwischen einzelnen Beweisen und die Erkennung unbeantwortbarer Fälle. Wir führen eine umfassende Evaluation auf einer Vielzahl extraktiver Fragebeantwortungs-Datensätze durch, die von Einzelhop- bis hin zu Mehrhop-Aufgaben reichen und sowohl reine Text- als auch reine Tabellen- sowie hybride Aufgaben umfassen, die unterschiedliche Schließfähigkeiten erfordern. Die Ergebnisse zeigen, dass ReasonBert gegenüber einer Reihe starker Baselines erhebliche Verbesserungen erzielt. Zusätzliche Few-Shot-Experimente demonstrieren zudem, dass unsere Vortrainingsmethode die Stichprobeneffizienz erheblich steigert.