في هذه الدراسة، نقترح نموذج BertGCN، الذي يدمج التدريب المسبق على نطاق واسع والتعلم التماسكي لتصنيف النصوص. يقوم نموذج BertGCN ببناء رسم بياني غير متجانس على مجموعة البيانات، ويعبر عن المستندات كعقد باستخدام تمثيلات BERT. وباستخدام التدريب المشترك بين وحدتي BERT وGCN داخل نموذج BertGCN، يتمكن النموذج المُقترح من الاستفادة من مزايا كلا العالمين: التدريب المسبق على نطاق واسع الذي يستغل كمية ضخمة من البيانات الخام، والتعلم التماسكي الذي يُدرّس تمثيلات معاً لكل من بيانات التدريب والبيانات غير المُعلّمة في الاختبار من خلال نقل تأثير التسمية عبر الت convolution الرسومي. تُظهر التجارب أن نموذج BertGCN يحقق أداءً من الدرجة الأولى (SOTA) على مجموعة واسعة من مجموعات بيانات تصنيف النصوص. يُمكن الوصول إلى الكود من خلال الرابط: https://github.com/ZeroRin/BertGCN.