HyperAIHyperAI

Command Palette

Search for a command to run...

MUR: Momentum Unschärfe gestützte Reasoning für große Sprachmodelle

Zusammenfassung

Große Sprachmodelle (LLMs) haben beeindruckende Leistungen bei aufwendigen Reasoning-Aufgaben erzielt, dennoch bleibt die Optimierung ihrer Reasoning-Effizienz ein offenes Problem. Obwohl Test-Time Scaling (TTS) die Reasoning-Qualität verbessert, führt es häufig zu übermäßigem Nachdenken und verschwendet Token durch redundante Berechnungen. Diese Arbeit untersucht, wie LLMs während des Testzeit-Skalierens effizient und anpassungsfähig geleitet werden können, ohne zusätzliche Trainingsphase. Angeregt durch das Konzept des Impulses aus der Physik, schlagen wir Momentum Uncertainty-gesteuertes Reasoning (MUR) vor, das dynamisch den Denk-Budgets kritische Reasoning-Schritte zuweist, indem es die Schritt-unsicherheit über die Zeit verfolgt und aggregiert. Um flexible Kontrolle während der Inferenzzeit zu ermöglichen, führen wir gamma-Kontrolle ein, eine einfache Methode, die das Reasoning-Budget über einen einzelnen Hyperparameter anpasst. Wir liefern eine detaillierte theoretische Begründung, um die Überlegenheit von MUR in Bezug auf Stabilität und Verzerrungen zu untermauern. MUR wird umfassend an verschiedenen TTS-Methoden an vier anspruchsvollen Benchmarks (MATH-500, AIME24, AIME25 und GPQA-diamond) getestet, wobei unterschiedliche Größen der jüngsten Qwen3-Modelle (1,7B, 4B und 8B) verwendet werden. Die Ergebnisse zeigen, dass MUR die Berechnung um durchschnittlich über 50 % reduziert, während die Genauigkeit um 0,62–3,37 % gesteigert wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp