HyperAIHyperAI

Command Palette

Search for a command to run...

الشفافية المحسّنة لمحولات النماذج من خلال الانتشار الحذر

Ameen Ali Thomas Schnake Oliver Eberle Grégoire Montavon Klaus-Robert Müller Lior Wolf

الملخص

أصبحت نماذج التحويل (Transformers) أداة أساسية في التعلم الآلي، مع تطبيقات عديدة لها. هذا يتطلب تطوير أساليب موثوقة لزيادة شفافيتها. تم اقتراح العديد من أساليب التفسير، غالبًا ما تعتمد على معلومات المشتقة (النسبة التفاضلية). نُظهر أن المشتقة في نموذج التحويل تعكس الوظيفة فقط محليًا، وبالتالي تفشل في تحديد المساهمة الفعلية للميزات المدخلة في التنبؤ بشكل موثوق. ونحدد أن "رؤوس الانتباه" (Attention Heads) و"مُعدِّل الطبقة" (LayerNorm) هما السببان الرئيسيان وراء هذه التفسيرات غير الموثوقة، ونُقدّم طريقة أكثر استقرارًا لنقل الإشارات عبر هذه الطبقات. وتشكل مقترحاتنا، التي يمكن اعتبارها تمديدًا مناسبًا للطريقة المعروفة جيدًا LRP إلى نماذج التحويل، حلًا نظريًا وتجريبيًا لتجاوز العيب في النهج القائم على المشتقة البسيطة، وتحقق أداءً متميزًا في التفسير على مجموعة واسعة من نماذج التحويل والبيانات.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
الشفافية المحسّنة لمحولات النماذج من خلال الانتشار الحذر | مستندات | HyperAI