MetaMathQA-Datensatz Zum Mathematischen Denken

Der Denkprozess der meisten bestehenden Open-Source-LLMs (z. B. LLaMA-2) ist relativ kompliziert und reicht bei der Lösung mathematischer Probleme noch immer nicht aus. Um diese Lücke zu schließen, schlugen die Forscher MetaMath vor, ein fein abgestimmtes Sprachmodell, das auf mathematisches Denken spezialisiert ist. Um die Vorwärts- und Rückwärtsschlussfolgerungsfähigkeiten des Modells zu verbessern,Forscher aus Cambridge, der Hong Kong University of Science and Technology und Huawei haben den MetaMathQA-Datensatz basierend auf zwei häufig verwendeten Mathematik-Datensätzen (GSM8K und MATH) vorgeschlagen: einen mathematischen Schlussfolgerungsdatensatz mit breiter Abdeckung und hoher Qualität. MetaMathQA besteht aus 395.000 vorwärts-rückwärts gerichteten mathematischen Frage-Antwort-Paaren, die von einem großen Sprachmodell generiert werden. Sie haben LLaMA-2 auf dem MetaMathQA-Datensatz feinabgestimmt, um ein großes Sprachmodell MetaMath zu erhalten, das sich auf mathematisches Denken (vorwärts und rückwärts) konzentriert, und haben SOTA auf dem Datensatz zum mathematischen Denken erreicht. Der MetaMathQA-Datensatz und MetaMath-Modelle unterschiedlicher Größe wurden als Open Source für die Verwendung durch Forscher bereitgestellt.

MetaMathQA umfasst vier Methoden zur Datenerweiterung:

1. Antworterweiterung: Bei einer gegebenen Frage wird mithilfe eines großen Sprachmodells eine Gedankenkette generiert, die als Datenerweiterung zur richtigen Antwort führen kann.
2. Frage umformulieren: Schreiben Sie bei einer Metafrage die Frage mithilfe eines großen Sprachmodells um und generieren Sie eine Gedankenkette, die als Datenerweiterung zur richtigen Antwort führt.
3. FOBAR-Frage (FOBAR-Erweiterung für umgekehrte Fragen): Generieren Sie aus einer Metafrage eine umgekehrte Frage, indem Sie die Zahl in der Bedingung als x maskieren, die ursprüngliche Antwort angeben und × ableiten, und generieren Sie den richtigen Denkkettenprozess basierend auf der umgekehrten Frage, um eine Datenerweiterung durchzuführen
4. Frage zur Selbstverifizierung: Basierend auf FOBAR wird der inverse Fragenteil durch ein großes Sprachmodell als Aussage umgeschrieben, um eine Datenerweiterung durchzuführen.