ProtoReasoning: Prototypen als Grundlage für generalisierbares Schließen in LLMs

Neuere Fortschritte bei großen Schließungsmodellen (Large Reasoning Models, LRMs), die mit langer Kette des Denkens (Long Chain-of-Thought, Long CoT) trainiert wurden, haben bemerkenswerte überdomäne Generalisierungsfähigkeiten gezeigt. Die zugrunde liegenden Mechanismen, die solche Transferleistungen ermöglichen, sind jedoch noch schlecht verstanden. Wir gehen davon aus, dass die überdomäne Generalisierung auf gemeinsamen abstrakten Schließungsvorlagen beruht – grundlegenden Schließungsmustern, die das Wesen von Problemen über verschiedene Domänen hinweg erfassen. Diese Vorlagen minimieren die Feinheiten der Darstellung und zeigen, dass scheinbar unterschiedliche Aufgaben auf gemeinsamen Schließungsstrukturen basieren.Basierend auf dieser Hypothese schlagen wir ProtoReasoning vor, einen Rahmen zur Verbesserung der Schließungsfähigkeit von großen Sprachmodellen (LLMs), indem skalierbare und verifizierbare prototypische Darstellungen genutzt werden (Prolog für logisches Schließen, PDDL für Planung). ProtoReasoning umfasst folgende Merkmale: (1) ein automatisiertes Prototypenkonstruktionsprozess, der Probleme in entsprechende prototypische Darstellungen transformiert; (2) ein umfassendes Verifikationssystem, das durch Prolog-/PDDL-Interpreter zuverlässiges Feedback liefert; (3) Skalierbarkeit zur Synthese beliebiger Probleme im Prototypenraum unter Sicherstellung der Korrektheit.Umfangreiche Experimente zeigen, dass ProtoReasoning eine Steigerung der Leistung um 4,7 % gegenüber Basismodellen in logischem Schließen (Enigmata-Eval), 6,3 % in Planungsaufgaben, 4,0 % in allgemeinem Schließen (MMLU) und 1,0 % in Mathematik (AIME24) erreicht. Bedeutend ist dabei, dass unsere Ausfallstudien bestätigen, dass das Lernen im Prototypenraum auch eine verbesserte Generalisierung auf strukturell ähnliche Probleme ermöglicht im Vergleich zum Training ausschließlich auf natürlichsprachlichen Darstellungen. Dies stützt unsere Hypothese, dass Schließungsvorlagen als Grundlage für generalisierbares Schließen in großen Sprachmodellen dienen.