نُقدّم نموذج HTLM، وهو نموذج لغوي نصي فائق التمدد تم تدريبه على مجموعة ضخمة من بيانات الاستكشاف الويب. يمتلك نمذجة النص الفائق العديد من المزايا: (1) يمكن جمعه بسهولة على نطاق واسع، (2) يوفر إشرافًا غنيًا على مستوى المستند وعلى مستوى المهام النهائية (مثل تشفير معلومات فئة المستند عبر سمات الفئة والهوية)، و(3) يمكّن من تقنيات توجيه منظمة جديدة تعتمد على الدلالات المتعارف عليها في لغة HTML (مثلاً، إجراء تلخيص بدون تدريب (zero-shot) عبر ملء عناصر العنوان (title tags) لصفحة ويب تحتوي على النص المدخل). نُظهر أن التدريب المسبق باستخدام خسارة تفتيت من نوع BART مباشرة على HTML المبسط يُنتج نقلًا فعّالًا جدًا لعدد واسع من المهام النهائية ومستويات الإشراف. يُنافس HTLM أو يتفوق على النماذج اللغوية النصية فقط ذات الحجم المماثل في المهام بدون تدريب (zero-shot prompting) والتعديل الدقيق (fine-tuning) على معايير التصنيف، كما يُحقّق أداءً جديدًا قياسيًا على مستوى التلخيص بدون تدريب. كما وجدنا أن النصوص الفائقة (hyper-text prompts) توفر قيمة أكبر لـ HTLM من حيث كفاءة البيانات، مقارنةً بالنصوص العادية (plain text prompts) بالنسبة للنماذج الحالية، وأن HTLM فعّال للغاية في توليد أوامر ذاتية (auto-prompting)، من خلال إنشاء التنسيق النصي الفائق الأكثر احتمالاً لأي بيانات تدريب متاحة. سنُطلق جميع الكود والنماذج لدعم الأبحاث المستقبلية المتعلقة بـ HTLM.