Sprachmodelle haben außergewöhnliche Leistungen bei einer Vielzahl von Aufgaben erbracht, die eine natürlichsprachliche Verarbeitung erfordern. Dennoch haben die derzeit besten Modelle generell Schwierigkeiten mit Aufgaben, die quantitatives Denken erfordern, wie zum Beispiel das Lösen von Mathematik-, Naturwissenschafts- und Ingenieurproblemen auf College-Niveau. Um diese Lücke zu schließen, stellen wir Minerva vor, ein großes Sprachmodell, das zunächst anhand allgemeiner natürlichsprachlicher Daten vortrainiert wurde und anschließend an technischem Inhalt weitertrainiert wurde. Das Modell erreicht den aktuellen Stand der Technik in technischen Benchmarks ohne die Verwendung externer Werkzeuge. Wir bewerten unser Modell auch anhand von über 200 Problemen des Bachelorstudiums in Physik, Biologie, Chemie, Wirtschaftswissenschaften und anderen Naturwissenschaften, die quantitatives Denken erfordern, und stellen fest, dass das Modell fast ein Drittel dieser Probleme korrekt lösen kann.