CodeXGLUE : Un jeu de données de référence pour l'apprentissage automatique destiné à la compréhension et à la génération de code

Les ensembles de données de référence (benchmark datasets) ont un impact significatif sur l'accélération des recherches dans les tâches liées aux langages de programmation. Dans cet article, nous présentons CodeXGLUE, un ensemble de données de référence conçu pour favoriser la recherche en apprentissage automatique (machine learning) pour la compréhension et la génération de programmes. CodeXGLUE comprend une collection de 10 tâches réparties sur 14 ensembles de données ainsi qu'une plateforme d'évaluation et de comparaison des modèles. CodeXGLUE propose également trois systèmes de base, incluant des modèles du style BERT, du style GPT et des modèles Encodeur-Décodeur, afin de faciliter l'utilisation de la plateforme par les chercheurs. La disponibilité de ces données et de ces systèmes de base peut aider au développement et à la validation de nouvelles méthodes applicables à divers problèmes de compréhension et de génération de programmes.