HyperAIHyperAI

Command Palette

Search for a command to run...

MUR : Raisonnement guidé par l'incertitude de la quantité de mouvement pour les grands modèles linguistiques

Résumé

Les grands modèles de langage (LLM) ont atteint des performances impressionnantes sur les tâches nécessitant un raisonnement intensif, toutefois l'optimisation de leur efficacité en matière de raisonnement reste un défi ouvert. Bien que le Test-Time Scaling (TTS) améliore la qualité du raisonnement, il peut entraîner un surraisonnement, gaspillant des tokens sur des calculs redondants. Ce travail explore comment guider efficacement et de manière adaptative le Test-Time Scaling des LLM sans nécessiter d'entraînement supplémentaire. Inspirés du concept de quantité de mouvement en physique, nous proposons le MUR (Momentum Uncertainty-guided Reasoning), qui alloue dynamiquement des budgets de réflexion aux étapes critiques du raisonnement en suivant et en accumulant l'incertitude par étape au fil du temps. Pour permettre un contrôle flexible pendant l'inférence, nous introduisons le gamma-control, un mécanisme simple qui ajuste le budget de raisonnement via un seul hyperparamètre. Nous fournissons une preuve théorique approfondie pour justifier la supériorité du MUR en termes de stabilité et de biais. Le MUR est évalué de manière exhaustive par rapport à diverses méthodes de TTS sur quatre benchmarks exigeants (MATH-500, AIME24, AIME25 et GPQA-diamond), en utilisant des modèles Qwen3 récents de différentes tailles (1,7 milliards, 4 milliards et 8 milliards de paramètres). Les résultats montrent que le MUR réduit en moyenne les calculs de plus de 50 % tout en améliorant l'exactitude de 0,62 à 3,37 %.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
MUR : Raisonnement guidé par l'incertitude de la quantité de mouvement pour les grands modèles linguistiques | Articles | HyperAI