Affinage des grands modèles linguistiques pour répondre à des questions de programmation à l’aide de fragments de code

Nous étudions la capacité des grands modèles linguistiques préentraînés (LLM) à répondre à des questions provenant de forums de questions-réponses en ligne, tels que Stack Overflow. Nous considérons des paires question-réponse dont la partie principale de la réponse est constituée de code source. Sur deux jeux de données de référence — CoNaLa et un nouveau jeu de données collecté à partir de Stack Overflow —, nous examinons comment un système de réponse à questions en mode « livre fermé » peut être amélioré par une adaptation fine du LLM pour la tâche spécifique, par une ingénierie de prompts et par un prétraitement des données. Nous utilisons des modèles linguistiques autoregressifs disponibles publiquement, tels que GPT-Neo, CodeGen et PanGu-Coder. Après l'adaptation fine proposée, nous atteignons un score BLEU de 0,4432 sur l'ensemble de test de CoNaLa, dépassant significativement l'état de l'art précédent pour cette tâche.