HyperAIHyperAI

Command Palette

Search for a command to run...

Déboguer comme un humain : un débogueur de modèle de langage à grande échelle basé sur la vérification de l'exécution en temps réel étape par étape

Li Zhong Zilong Wang Jingbo Shang

Résumé

Les grands modèles linguistiques (LLM) connaissent un progrès significatif dans la génération de code. Au-delà de la génération de code en une seule passe, les travaux récents intègrent également des tests unitaires et des vérificateurs de programmes aux LLM afin de raffiner itérativement les programmes générés. Toutefois, ces approches considèrent les programmes générés comme une entité indivisible, ce qui limite leur capacité à corriger les erreurs, en particulier lorsque les programmes impliquent des flux logiques complexes ou des opérations sur les données. À l’inverse, lorsqu’un développeur humain débogue un programme, il établit généralement des points d’arrêt et examine sélectivement les informations d’exécution en temps réel. Le flux d’exécution et les variables intermédiaires jouent un rôle fondamental dans ce processus, mais restent largement sous-exploités dans la littérature actuelle sur la génération de code. Dans cette étude, nous proposons LDB (Large Language Model Debugger), un cadre novateur de débogage qui permet aux LLM de réviser leurs programmes générés à l’aide d’informations d’exécution en temps réel. Plus précisément, LDB découpe les programmes en blocs de base et suit les valeurs des variables intermédiaires après l’exécution de chaque bloc tout au long du processus d’exécution. Cette approche permet aux LLM de se concentrer sur des unités de code plus simples au sein du flux d’exécution global, de vérifier leur correction par rapport à la description de la tâche bloc par bloc, et d’identifier efficacement toute erreur potentielle. Les expériences montrent que LDB améliore de manière constante les performances de base, avec une augmentation maximale de 9,8 % sur les benchmarks HumanEval, MBPP et TransCoder, atteignant ainsi de nouveaux états de l’art dans le débogage de code pour diverses configurations de LLM.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp