تعلم الانتباه غير المحلي على الشبكات الكبيرة المتنوعة للمعلومات

يُعدّ الشبكة المعلوماتية المتنوعة (HIN) وسيلة لتوثيق معلومات بنائية غنية في مجموعات البيانات الواقعية، ويلعب دورًا مهمًا في العديد من تطبيقات البيانات الكبيرة. في الآونة الأخيرة، تم توسيع الشبكات العصبية الرسومية لدعم التعلم التمثيلي للشبكات المتنوعة. ومن أبرز التطورات الحديثة آليّة الانتباه الهرمية التي تدمج بين الانتباه على مستوى العقد (nodewise) والانتباه على مستوى المعنى (semantic-wise). ومع ذلك، نظرًا لأن الشبكات المتنوعة غالبًا ما تكون متصلة بشكل كثيف بسبب تنوع أنواع الحواف، فإن تطبيق طبقات التConvolution الرسومية بشكل متكرر يؤدي إلى جعل تمثيلات العقد غير قابلة للتمييز بسرعة كبيرة. لتجنب ظاهرة التماسك الزائد (oversmoothness)، تعاني الشبكات العصبية الرسومية الحالية المخصصة للشبكات المتنوعة عادةً من هيكل رقيق (Shallow Structure). نتيجة لذلك، تتجاهل هذه الأساليب المعلومات التي تتجاوز الجوار المحلي، مما يُشكل عيبًا تصميميًا يتعارض مع مفهوم التعلم غير المحلي، الذي يُركّز على أهمية التقاط الاعتماديات طويلة المدى. ولمعالجة هذا التحدي بشكل مناسب، نُقدّم إطارًا جديدًا يُسمّى "الانتباه غير المحلي في الشبكات المعلوماتية المتنوعة" (NLAH). يستخدم هذا الإطار بنية انتباه غير محلية لتعزيز آلية الانتباه الهرمية، مما يمكّنه من الاستفادة من المعلومات المحلية والغير محلية في آن واحد. علاوة على ذلك، صُمّمت خوارزمية عينة موزونة (weighted sampling schema) ضمن إطار NLAH لتقليل التكلفة الحسابية عند التعامل مع مجموعات بيانات ضخمة. وقد أظهرت تجارب واسعة على ثلاث شبكات متنوعة حقيقية أن إطارنا يتميز بقابلية توسعة استثنائية، ويتفوق على أحدث النماذج الحالية بفارق كبير.