Unterrichtsinspirierter integrierter Prompting-Rahmen: Ein neuer Ansatz zur Verbesserung der Schlussfolgerungsfähigkeit in großen Sprachmodellen

Große Sprachmodelle (LLMs) zeigen beeindruckende Leistungen in verschiedenen Bereichen, haben jedoch immer noch Schwierigkeiten bei arithmetischen Schließleistungsaufgaben. Neueste Arbeiten belegen die Effektivität von Prompt-Design-Methoden zur Verbesserung der Schließleistungsfähigkeiten. Diese Ansätze ignorieren jedoch wichtige Voraussetzungen, wie das Vorwissen spezifischer Konzepte, Sätze und Tricks, um die meisten arithmetischen Schließleistungsaufgaben erfolgreich zu lösen. Um dieses Problem anzugehen, schlagen wir ein neues und effektives lehrorientiertes integriertes Framework vor, das den Unterrichtsprozess eines Lehrers imitiert, der Schüler anleitet. Diese Methode versieht LLMs mit wesentlichen Konzepten, relevanten Sätzen und ähnlichen Problemen mit analogen Lösungsansätzen, was die Verbesserung der Schließleistungsfähigkeiten erleichtert. Des Weiteren stellen wir zwei neue chinesische Datensätze vor: MathMC und MathToF, beide mit detaillierten Erklärungen und Antworten. Experimente wurden auf neun Benchmarks durchgeführt, die zeigen, dass unser Ansatz die Schließleistungsgenauigkeit von LLMs verbessert. Mit GPT-4 und unserem Framework erreichen wir neue Standards in vier Mathe-Benchmarks (AddSub, SVAMP, Math23K und AQuA) mit Genauigkeiten von 98,2 % (+3,3 %), 93,9 % (+0,2 %), 94,3 % (+7,2 %) und 81,1 % (+1,2 %). Unsere Daten und Code sind unter https://github.com/SallyTan13/Teaching-Inspired-Prompting verfügbar.