HyperAIHyperAI
منذ 17 أيام

ترميز التسلسل متعدد الحُدود عبر وحدات مركبة موسعة لفهم القراءة

{Anh Tuan Luu, Yi Tay, Siu Cheung Hui}
ترميز التسلسل متعدد الحُدود عبر وحدات مركبة موسعة لفهم القراءة
الملخص

المحولات التسلسلية تمثل مكونات حيوية في العديد من الهياكل العصبية لتعلم القراءة والفهم. تقدم هذه الورقة محولًا تجميعيًا جديدًا لفهم القراءة (RC). يهدف محولنا المُقترح ليس فقط إلى السرعة، بل أيضًا إلى التعبير الدقيق. بشكل خاص، تكمن الابتكار الرئيسي وراء محولنا في نمذجة صريحة على عدة مستويات دقة باستخدام آلية تجميع موسعة جديدة. في نهجنا، يتم تعلم دوال التحكم من خلال نمذجة العلاقات والاستنتاج من خلال معلومات تسلسلية متعددة المقاييس، مما يمكّن من التعلم التجميعي المُدرك لكل من المعلومات قصيرة المدى وطويلة المدى. أجرينا تجارب على ثلاث مجموعات بيانات لفهم القراءة، وأظهرت النتائج أن المحول المُقترح يحقق نتائج واعدة جدًا سواء كمحول مستقل أو كمكوّن مكمل. تُظهر النتائج التجريبية أن الهياكل البسيطة من نوع Bi-Attentive المُعززة بمحولنا المُقترح لا تحقق فقط نتائج متقدمة أو تنافسية على مستوى العالم، بل تكون أيضًا أسرع بشكل ملحوظ من الدراسات المنشورة الأخرى.