HyperAIHyperAI

Command Palette

Search for a command to run...

المحولات الرسمية تثري الانتباه الذاتي في نماذج الترانسفورمر!

Jeongwhan Choi Hyowon Wi Jayoung Kim Yehjin Shin Kookjin Lee Nathaniel Trask Noseong Park

الملخص

الشبكات العصبية التحويلية (Transformers)، المعروفة بآلية الانتباه الذاتي (self-attention mechanism)، حققت أداءً رائدًا في مجموعة متنوعة من المهام في معالجة اللغة الطبيعية ورؤية الحاسوب ونمذجة السلاسل الزمنية وغيرها. ومع ذلك، فإن أحد التحديات المرتبطة بالنموذج العميق للشبكات التحويلية هو مشكلة الإفراط في التسطيح (oversmoothing problem)، حيث تتقارب تمثيلات الطبقات إلى قيم غير قابلة للتفرقة، مما يؤدي إلى تدهور كبير في الأداء. نقوم بتفسير آلية الانتباه الذاتي الأصلية كمرشح بسيط للرسوم البيانية (graph filter) وإعادة تصميمها من منظور معالجة إشارات الرسوم البيانية (Graph Signal Processing - GSP). نقترح استخدام آلية الانتباه الذاتي المستندة إلى مرشح الرسوم البيانية (Graph-Filter-Based Self-Attention - GFSA) لتعلم نموذج عام ولكنه فعال، مع تعقيد قليل أكبر من آلية الانتباه الذاتي الأصلية. نوضح أن GFSA يحسن أداء الشبكات التحويلية في مجالات متنوعة، بما في ذلك رؤية الحاسوب ومعالجة اللغة الطبيعية ومهمات مستوى الرسم البياني وتمييز الكلام تصنيف الكود.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp