HyperAIHyperAI

Command Palette

Search for a command to run...

تعلم الانتباه غير المحلي على الشبكات الكبيرة المتنوعة للمعلومات

ChengXiang Zhai Zecheng Zhang Yuxin Xiao Carl Yang

الملخص

يُعدّ الشبكة المعلوماتية المتنوعة (HIN) وسيلة لتوثيق معلومات بنائية غنية في مجموعات البيانات الواقعية، ويلعب دورًا مهمًا في العديد من تطبيقات البيانات الكبيرة. في الآونة الأخيرة، تم توسيع الشبكات العصبية الرسومية لدعم التعلم التمثيلي للشبكات المتنوعة. ومن أبرز التطورات الحديثة آليّة الانتباه الهرمية التي تدمج بين الانتباه على مستوى العقد (nodewise) والانتباه على مستوى المعنى (semantic-wise). ومع ذلك، نظرًا لأن الشبكات المتنوعة غالبًا ما تكون متصلة بشكل كثيف بسبب تنوع أنواع الحواف، فإن تطبيق طبقات التConvolution الرسومية بشكل متكرر يؤدي إلى جعل تمثيلات العقد غير قابلة للتمييز بسرعة كبيرة. لتجنب ظاهرة التماسك الزائد (oversmoothness)، تعاني الشبكات العصبية الرسومية الحالية المخصصة للشبكات المتنوعة عادةً من هيكل رقيق (Shallow Structure). نتيجة لذلك، تتجاهل هذه الأساليب المعلومات التي تتجاوز الجوار المحلي، مما يُشكل عيبًا تصميميًا يتعارض مع مفهوم التعلم غير المحلي، الذي يُركّز على أهمية التقاط الاعتماديات طويلة المدى. ولمعالجة هذا التحدي بشكل مناسب، نُقدّم إطارًا جديدًا يُسمّى "الانتباه غير المحلي في الشبكات المعلوماتية المتنوعة" (NLAH). يستخدم هذا الإطار بنية انتباه غير محلية لتعزيز آلية الانتباه الهرمية، مما يمكّنه من الاستفادة من المعلومات المحلية والغير محلية في آن واحد. علاوة على ذلك، صُمّمت خوارزمية عينة موزونة (weighted sampling schema) ضمن إطار NLAH لتقليل التكلفة الحسابية عند التعامل مع مجموعات بيانات ضخمة. وقد أظهرت تجارب واسعة على ثلاث شبكات متنوعة حقيقية أن إطارنا يتميز بقابلية توسعة استثنائية، ويتفوق على أحدث النماذج الحالية بفارق كبير.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp