CodeTrans : Vers la compréhension du langage du code de la silice grâce à l'apprentissage profond auto-supervisé et au calcul haute performance

Actuellement, un nombre croissant d'applications de traitement de langage naturel matures rendent la vie des gens plus pratique. Ces applications sont construites à partir de code source, le langage utilisé en ingénierie logicielle. Cependant, les applications visant à comprendre le langage du code source pour faciliter le processus d'ingénierie logicielle sont peu étudiées. Parallèlement, le modèle transformer, en particulier sa combinaison avec l'apprentissage par transfert, s'est avéré être une technique puissante pour les tâches de traitement de langage naturel. Ces avancées indiquent une direction prometteuse pour le traitement du code source et la résolution des tâches d'ingénierie logicielle. Cet article décrit CodeTrans - un modèle transformer encodeur-décodeur destiné aux tâches dans le domaine de l'ingénierie logicielle, qui explore l'efficacité des modèles transformer encodeur-décodeur pour six tâches d'ingénierie logicielle, incluant treize sous-tâches. De plus, nous avons examiné l'impact de différentes stratégies d'entraînement, y compris l'apprentissage mono-tâche, l'apprentissage par transfert, l'apprentissage multi-tâche et l'apprentissage multi-tâche avec ajustement fin (fine-tuning). CodeTrans surpasse les modèles les plus performants actuellement disponibles sur toutes les tâches. Pour accélérer les travaux futurs dans le domaine de l'ingénierie logicielle, nous avons publié nos modèles pré-entraînés de CodeTrans. https://github.com/agemagician/CodeTrans