Assembler des modèles fondamentaux pour la synthèse automatique de code

La génération automatique de résumés de code est bénéfique pour le développement logiciel quotidien car elle peut aider à réduire la nécessité d'une écriture manuelle. Actuellement, l'intelligence artificielle est en pleine mutation paradigmatique. Les modèles fondamentaux pré-entraînés sur de vastes volumes de données et affinés pour des tâches en aval surpassent les modèles spécialement personnalisés. Cette tendance nous a inspiré à envisager la réutilisation de modèles fondamentaux plutôt que d'apprendre à partir de zéro. Ainsi, nous proposons une approche flexible et robuste pour la génération automatique de résumés de code, basée sur des modèles neuronaux. Nous combinons des modèles fondamentaux disponibles, tels que CodeBERT et GPT-2, dans un seul modèle neuronal nommé AdaMo. De plus, nous utilisons du bruit gaussien comme simulation d'informations contextuelles pour optimiser la représentation latente. Par ailleurs, nous introduisons deux schémas adaptatifs sous l'angle du transfert de connaissances, à savoir le pré-entraînement continu et le réglage fin intermédiaire, et concevons des tâches intermédiaires pour l'apprentissage séquence-à-séquence général. Enfin, nous évaluons AdaMo sur un jeu de données de référence pour la génération de résumés de code, en le comparant aux modèles les plus avancés actuellement disponibles.