MUR: Momentum Unschärfe gestützte Reasoning für große Sprachmodelle

Große Sprachmodelle (LLMs) haben beeindruckende Leistungen bei aufwendigen Reasoning-Aufgaben erzielt, dennoch bleibt die Optimierung ihrer Reasoning-Effizienz ein offenes Problem. Obwohl Test-Time Scaling (TTS) die Reasoning-Qualität verbessert, führt es häufig zu übermäßigem Nachdenken und verschwendet Token durch redundante Berechnungen. Diese Arbeit untersucht, wie LLMs während des Testzeit-Skalierens effizient und anpassungsfähig geleitet werden können, ohne zusätzliche Trainingsphase. Angeregt durch das Konzept des Impulses aus der Physik, schlagen wir Momentum Uncertainty-gesteuertes Reasoning (MUR) vor, das dynamisch den Denk-Budgets kritische Reasoning-Schritte zuweist, indem es die Schritt-unsicherheit über die Zeit verfolgt und aggregiert. Um flexible Kontrolle während der Inferenzzeit zu ermöglichen, führen wir gamma-Kontrolle ein, eine einfache Methode, die das Reasoning-Budget über einen einzelnen Hyperparameter anpasst. Wir liefern eine detaillierte theoretische Begründung, um die Überlegenheit von MUR in Bezug auf Stabilität und Verzerrungen zu untermauern. MUR wird umfassend an verschiedenen TTS-Methoden an vier anspruchsvollen Benchmarks (MATH-500, AIME24, AIME25 und GPQA-diamond) getestet, wobei unterschiedliche Größen der jüngsten Qwen3-Modelle (1,7B, 4B und 8B) verwendet werden. Die Ergebnisse zeigen, dass MUR die Berechnung um durchschnittlich über 50 % reduziert, während die Genauigkeit um 0,62–3,37 % gesteigert wird.