تقنيات حديثة لمهمة تجميع النصوص القصيرة تعتمد غالبًا على تمثيلات الكلمات كمكون للتعلم النقل. يظهر هذا البحث أن متجهات الجمل من نماذج الـ Transformers بالاشتراك مع طرق تجميع مختلفة يمكن تطبيقها بنجاح لمعالجة هذه المهمة. علاوة على ذلك، نوضح أن خوارزمية تعزيز التجميع عبر التصنيف التكراري يمكن أن تحسن الأداء الأولي للتجميع باستخدام تصنيفات مختلفة، بما في ذلك تلك المستندة إلى نماذج اللغات المدربة مسبقًا من الـ Transformers (Pre-trained Transformer language models).