Dans ce travail, nous proposons BertGCN, un modèle qui combine le préentraînement à grande échelle et l’apprentissage transductif pour la classification de texte. BertGCN construit un graphe hétérogène à partir de l'ensemble de données et représente les documents comme des nœuds à l’aide de représentations BERT. En entraînant conjointement les modules BERT et GCN au sein de BertGCN, le modèle proposé parvient à tirer parti des avantages des deux approches : le préentraînement à grande échelle, qui exploite l’abondance de données brutes, et l’apprentissage transductif, qui permet d’apprendre conjointement des représentations pour les données d’entraînement et les données de test non étiquetées grâce à la propagation de l’influence des étiquettes par convolution de graphe. Les expériences montrent que BertGCN atteint des performances SOTA sur une large gamme de jeux de données de classification de texte. Le code est disponible à l’adresse suivante : https://github.com/ZeroRin/BertGCN.