HyperAIHyperAI

Command Palette

Search for a command to run...

Optimisation des grands modèles de langage pour l'achèvement du code OpenAPI

Bohdan Petryshyn Mantas Lukoševičius

Résumé

Les récentes avancées dans les grands modèles de langage (LLMs) et leur utilisation dans les tâches de génération de code ont considérablement transformé le domaine du développement logiciel. Bien que les solutions d'achèvement de code soient remarquablement efficaces pour les langages de programmation courants, leurs performances sont en retard lorsque ces solutions sont appliquées à des formats moins répandus, tels que les définitions OpenAPI. Cette étude évalue les performances d'achèvement OpenAPI de GitHub Copilot, un outil commercial d'achèvement de code largement utilisé, et propose un ensemble d'optimisations spécifiques aux tâches en utilisant le modèle open-source Code Llama de Meta. Un benchmark d'achèvement OpenAPI sensible au sens, proposé dans cette recherche, est utilisé pour réaliser une série d'expériences permettant d'analyser l'impact de diverses techniques d'ingénierie des prompts et d'affinage sur les performances du modèle Code Llama. Le modèle Code Llama affiné atteint une amélioration maximale de la justesse de 55,2 % par rapport à GitHub Copilot, malgré l'utilisation de 25 fois moins de paramètres que le modèle Codex sous-jacent à la solution commerciale. De plus, cette recherche propose une amélioration d'une technique d'apprentissage largement utilisée pour le remplissage de code, résolvant le problème des performances insuffisantes lorsque le modèle est sollicité avec des tailles de contexte inférieures à celles utilisées lors de l'apprentissage. Le jeu de données, le benchmark et le code d'affinage du modèle sont mis à disposition du public.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Optimisation des grands modèles de langage pour l'achèvement du code OpenAPI | Articles | HyperAI