MathCoder: Nahtlose Code-Integration in LLMs zur Verbesserung mathematischer Schlussfolgerung

Der kürzlich veröffentlichte GPT-4 Code Interpreter hat eine bemerkenswerte Leistung bei der Lösung anspruchsvoller mathematischer Aufgaben gezeigt, was hauptsächlich auf seine Fähigkeit zurückzuführen ist, nahtlos mit natürlicher Sprache zu reasoning, Code zu generieren, diesen auszuführen und anschließend auf Basis der Ausführungsergebnisse weiterzudenken. In diesem Paper präsentieren wir eine Methode zur Feinabstimmung offener Quellcode-Sprachmodelle, die es ihnen ermöglicht, Code zur Modellierung und Herleitung mathematischer Gleichungen einzusetzen und dadurch ihre mathematischen Schlussfolgerungsfähigkeiten signifikant zu verbessern. Wir schlagen eine Methode zur Erzeugung neuer und hochwertiger Datensätze mit mathematischen Aufgaben und ihren auf Code basierenden Lösungen vor, die als MathCodeInstruct bezeichnet wird. Jede Lösung wechselt dabei nahtlos zwischen natürlicher Sprache, Code und Ausführungsergebnissen. Zudem führen wir einen maßgeschneiderten Ansatz für überwachtes Feinabstimmung und Inferenz ein. Dieser Ansatz führt zu den MathCoder-Modellen, einer Modellfamilie, die in der Lage ist, auf Code basierende Lösungen für anspruchsvolle mathematische Aufgaben zu generieren. Erstaunlicherweise erreichen die MathCoder-Modelle auf den Datensätzen MATH (45,2 %) und GSM8K (83,9 %) Spitzenwerte unter den Open-Source-LLMs und übertrumpfen dabei deutlich andere offene Alternativen. Besonders hervorzuheben ist, dass das MathCoder-Modell nicht nur ChatGPT-3.5 und PaLM-2 auf GSM8K und MATH schlägt, sondern sogar GPT-4 auf dem anspruchsvollen, wettkampforientierten MATH-Datensatz übertrifft. Die Datensätze und Modelle werden unter https://github.com/mathllm/MathCoder veröffentlicht.