التماسك هو جانب مهم من جودة النص ويعد ضرورياً لضمان قابليته للقراءة. وهو أمر مرغوب فيه بشكل أساسي للنواتج التي تنتجها أنظمة إنشاء النصوص مثل التلخيص، وإجابة الأسئلة، والترجمة الآلية، وتكوين الأسئلة، وتحويل الجداول إلى نصوص وغيرها. كما أن نموذجاً آلياً لتقييم التماسك يكون مفيداً في تقييم المقالات أو تقديم ملاحظات على الكتابة. لقد استفادت العديد من الأعمال السابقة من طرق تعتمد على الكيانات، وأنماط الصياغة اللغوية، والعلاقات الخطابية، وأكثر حديثاً من هياكل التعلم العميق التقليدية لتقييم تماسك النص. ومع ذلك، تعاني الأعمال السابقة من عيوب مثل عدم القدرة على التعامل مع الارتباطات الطويلة المدى، والكلمات خارج القاموس، أو نمذجة المعلومات المتسلسلة. نفترض أن تقييم التماسك هو مهمة معقدة معرفياً تتطلب نماذج أعمق ويمكن أن تستفيد من مهام ذات صلة أخرى. وفقًا لذلك، في هذا البحث، نقترح أربع هياكل مختلفة تعتمد على تقنية Transformer للمهمة: Transformer البسيط (vanilla Transformer)، وTransformer الهرمي (hierarchical Transformer)، ونموذج يعتمد على التعلم متعدد المهام (multi-task learning-based model)، ونموذج يستخدم تمثيل الإدخال القائم على الحقائق (a model with fact-based input representation). تظهر تجاربنا باستخدام مجموعات بيانات مقاييس شائعة عبر مجالات متعددة وفي أربع مهام مختلفة لتقييم التماسك أن نماذجنا حققت أفضل النتائج الحالية وأفضلت النماذج الموجودة بفارق جيد.