تقدم هذه الدراسة معمارية ترانسفورمر ذات انتباه نادرة لنمذجة المستندات التي تحتوي على جداول كبيرة. تُعد الجداول شائعة جدًا على الويب، وهي غنية بالبيانات. ومع ذلك، فإن أكثر من 20% من الجداول العلائقية على الويب تحتوي على 20 صفًا أو أكثر (كافيلايرا وآخرون، 2008)، وتُشكّل هذه الجداول الكبيرة تحديًا أمام نماذج ترانسفورمر الحالية، التي تُحدَّد عادةً بـ 512 رمزًا. في هذا العمل، نقترح معمارية MATE، وهي معمارية ترانسفورمر جديدة مصممة لتمثيل البنية الجداول على الويب. تستخدم MATE الانتباه النادر بطريقة تسمح للرؤوس بالانتباه بكفاءة إما إلى الصفوف أو الأعمدة داخل الجدول. وتتميز هذه المعمارية بقابلية التوسع الخطي من حيث السرعة والذاكرة، ويمكنها التعامل مع المستندات التي تحتوي على أكثر من 8000 رمز باستخدام الوحدات الحالية للتسريع. كما أن MATE تمتلك انحيازًا استنتاجيًا أكثر ملاءمة للبيانات الجدولية، وتحدد حالة جديدة في التميز على ثلاث مجموعات بيانات للتفكير في الجداول. وبالنسبة لبيانات HybridQA (تشن وآخرون، 2020b)، التي تتضمن مستندات كبيرة تحتوي على جداول، نحسن النتيجة السابقة الأفضل بنسبة 19 نقطة.