HyperAIHyperAI

Command Palette

Search for a command to run...

ProtoReasoning: Prototypen als Grundlage für generalisierbares Schließen in LLMs

Feng He Zijun Chen Xinnian Liang Tingting Ma Yunqi Qiu Shuangzhi Wu Junchi Yan

Zusammenfassung

Neuere Fortschritte bei großen Schließungsmodellen (Large Reasoning Models, LRMs), die mit langer Kette des Denkens (Long Chain-of-Thought, Long CoT) trainiert wurden, haben bemerkenswerte überdomäne Generalisierungsfähigkeiten gezeigt. Die zugrunde liegenden Mechanismen, die solche Transferleistungen ermöglichen, sind jedoch noch schlecht verstanden. Wir gehen davon aus, dass die überdomäne Generalisierung auf gemeinsamen abstrakten Schließungsvorlagen beruht – grundlegenden Schließungsmustern, die das Wesen von Problemen über verschiedene Domänen hinweg erfassen. Diese Vorlagen minimieren die Feinheiten der Darstellung und zeigen, dass scheinbar unterschiedliche Aufgaben auf gemeinsamen Schließungsstrukturen basieren.Basierend auf dieser Hypothese schlagen wir ProtoReasoning vor, einen Rahmen zur Verbesserung der Schließungsfähigkeit von großen Sprachmodellen (LLMs), indem skalierbare und verifizierbare prototypische Darstellungen genutzt werden (Prolog für logisches Schließen, PDDL für Planung). ProtoReasoning umfasst folgende Merkmale: (1) ein automatisiertes Prototypenkonstruktionsprozess, der Probleme in entsprechende prototypische Darstellungen transformiert; (2) ein umfassendes Verifikationssystem, das durch Prolog-/PDDL-Interpreter zuverlässiges Feedback liefert; (3) Skalierbarkeit zur Synthese beliebiger Probleme im Prototypenraum unter Sicherstellung der Korrektheit.Umfangreiche Experimente zeigen, dass ProtoReasoning eine Steigerung der Leistung um 4,7 % gegenüber Basismodellen in logischem Schließen (Enigmata-Eval), 6,3 % in Planungsaufgaben, 4,0 % in allgemeinem Schließen (MMLU) und 1,0 % in Mathematik (AIME24) erreicht. Bedeutend ist dabei, dass unsere Ausfallstudien bestätigen, dass das Lernen im Prototypenraum auch eine verbesserte Generalisierung auf strukturell ähnliche Probleme ermöglicht im Vergleich zum Training ausschließlich auf natürlichsprachlichen Darstellungen. Dies stützt unsere Hypothese, dass Schließungsvorlagen als Grundlage für generalisierbares Schließen in großen Sprachmodellen dienen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp