HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 2 jours

HiPO : Optimisation hybride de politique pour le raisonnement dynamique dans les modèles de langage

HiPO : Optimisation hybride de politique pour le raisonnement dynamique dans les modèles de langage

Résumé

Les grands modèles linguistiques (LLM) s’appuient de plus en plus sur le raisonnement en chaîne de pensée (Chain-of-Thought, CoT) afin d’améliorer leur précision sur des tâches complexes. Toutefois, générer systématiquement des traces de raisonnement longues s’avère inefficace, entraînant une utilisation excessive de jetons et une augmentation des coûts d’inférence. Ce papier présente une approche appelée HiPO (Hybrid Policy Optimization), un cadre de contrôle adaptatif du raisonnement permettant aux LLM de décider de manière sélective quand engager un raisonnement détaillé (Think-on) et quand répondre directement (Think-off). Plus précisément, HiPO combine une chaîne de traitement hybride de données, fournissant des réponses appariées en Think-on et Think-off, avec un système de récompense fondé sur une apprentissage par renforcement hybride, qui équilibre précision et efficacité tout en évitant une dépendance excessive au raisonnement détaillé. Des expérimentations menées sur des benchmarks mathématiques et de codage montrent que HiPO permet de réduire de manière significative la longueur des jetons tout en maintenant ou en améliorant la précision. Enfin, nous espérons que HiPO pourra devenir une approche structurée pour un raisonnement adaptatif efficace, contribuant ainsi au déploiement de modèles linguistiques orientés raisonnement dans des contextes réels sensibles aux ressources.

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
HiPO : Optimisation hybride de politique pour le raisonnement dynamique dans les modèles de langage | Articles de recherche | HyperAI