Optimisation des grands modèles de langage pour l'achèvement du code OpenAPI

Les récentes avancées dans les grands modèles de langage (LLMs) et leur utilisation dans les tâches de génération de code ont considérablement transformé le domaine du développement logiciel. Bien que les solutions d'achèvement de code soient remarquablement efficaces pour les langages de programmation courants, leurs performances sont en retard lorsque ces solutions sont appliquées à des formats moins répandus, tels que les définitions OpenAPI. Cette étude évalue les performances d'achèvement OpenAPI de GitHub Copilot, un outil commercial d'achèvement de code largement utilisé, et propose un ensemble d'optimisations spécifiques aux tâches en utilisant le modèle open-source Code Llama de Meta. Un benchmark d'achèvement OpenAPI sensible au sens, proposé dans cette recherche, est utilisé pour réaliser une série d'expériences permettant d'analyser l'impact de diverses techniques d'ingénierie des prompts et d'affinage sur les performances du modèle Code Llama. Le modèle Code Llama affiné atteint une amélioration maximale de la justesse de 55,2 % par rapport à GitHub Copilot, malgré l'utilisation de 25 fois moins de paramètres que le modèle Codex sous-jacent à la solution commerciale. De plus, cette recherche propose une amélioration d'une technique d'apprentissage largement utilisée pour le remplissage de code, résolvant le problème des performances insuffisantes lorsque le modèle est sollicité avec des tailles de contexte inférieures à celles utilisées lors de l'apprentissage. Le jeu de données, le benchmark et le code d'affinage du modèle sont mis à disposition du public.