شبكات التمرير الرسالة مع الانتباه لفهم الوثائق

الشبكات العصبية الرسومية ظهرت مؤخرًا كإطار فعّال جدًا لمعالجة البيانات ذات الهيكل الرسومي. حققت هذه النماذج أداءً متفوقًا في العديد من المهام. يمكن وصف معظم الشبكات العصبية الرسومية من حيث دوال تمرير الرسائل، تحديث الرؤوس، ودوال القراءة. في هذا البحث، نمثل الوثائق كشبكات تكرار الكلمات ونقترح تطبيق إطار تمرير الرسائل على معالجة اللغة الطبيعية، وهو شبكة الانتباه بتمرير الرسائل لفهم الوثائق (MPAD). كما نقترح عدة نسخ هرمية من MPAD. أظهرت التجارب التي أجريت على عشرة مجموعات بيانات قياسية للتصنيف النصي أن هياكلنا تنافس الأداء المتفوق حاليًا. كشفت دراسات الإزالة المزيد عن التأثير الذي ت exercizeه المكونات المختلفة على الأداء. الكود متاح بشكل عام في: https://github.com/giannisnik/mpad .