Abstract

Wir stellen ein wissenschaftliches Schlussfolgerungs-Grundmodell vor, das natürliche Sprache mit heterogenen wissenschaftlichen Darstellungsformen verknüpft. Das Modell wird zunächst auf einer Korpus von 206 Milliarden Tokens vortrainiert, das wissenschaftliche Texte, reine Sequenzen sowie Sequenz-Text-Paare umfasst, anschließend mittels Supervised Fine-Tuning (SFT) auf 40 Millionen Anweisungen angepasst, mit einer kaltgestarteten, annealenden Bootstrap-Strategie zur Förderung von umfangreichen, schrittweisen Schlussfolgerungen (Chain-of-Thought) und mittels Verstärkungslernen mit aufgabe-spezifischer Belohnungsformung, wodurch bewusstes wissenschaftliches Schließen gefördert wird. Das Modell unterstützt vier Funktionsfamilien, die bis zu 103 Aufgaben innerhalb wissenschaftlicher Arbeitsabläufe abdecken: (i) treue Übersetzung zwischen Text und wissenschaftlichen Darstellungsformen, (ii) Text- und Wissensextraktion, (iii) Eigenschaftsvorhersage, (iv) Eigenschaftsklassifizierung sowie (v) bedingungslose und bedingte Sequenzgenerierung und -gestaltung. Im Vergleich zu spezialisierten Systemen erweitert unser Ansatz die Abdeckung von Anweisungen, verbessert die Übertragbarkeit über Domänen hinweg und erhöht die Genauigkeit. Wir beschreiben ausführlich die Datenaufbereitung und das Trainingsverfahren und zeigen, dass das Lernen über Disziplinen hinweg die Transferfähigkeit und die Zuverlässigkeit in nachfolgenden Aufgaben stärkt. Das Modell, die zur Instruktionstuning verwendeten Datensätze sowie der Evaluierungscode sind unter https://huggingface.co/SciReason und https://github.com/open-sciencelab/SciReason öffentlich zugänglich.