HyperAIHyperAI

Command Palette

Search for a command to run...

Console
منذ 5 أيام

DePass: تخصيص الميزة الموحّدة من خلال عملية تمرير أمامية مبسطة ومحللة

Xiangyu Hong Che Jiang Kai Tian Biqing Qi Youbang Sun Ning Ding Bowen Zhou

DePass: تخصيص الميزة الموحّدة من خلال عملية تمرير أمامية مبسطة ومحللة

الملخص

إسناد سلوك نماذج المُحَوِّل (Transformer) إلى الحسابات الداخلية يُعدُّ أحد التحديات الأساسية في مجال تفسير الآلية الميكانيكية للنماذج. نقدّم "DePass"، وهو إطار موحد لاستنتاج الميزات يعتمد على عملية تمرير أمامية مُفكَّكة واحدة. يُفكِّك DePass الحالة المخفية إلى مكونات جمعية مخصصة، ثم يُمرر هذه المكونات مع تثبيت قيم معاملات الانتباه (attention scores) وتنشيطات وحدة التحويل الخطي المتعدد (MLP). ويحقق DePass تحليلًا دقيقًا وموثوقًا للمساهمات دون الحاجة إلى تدريب إضافي. وقد قمنا بتحقق من فعالية DePass في مهام تحليل المساهمات على مستوى الرموز (token-level)، وعلى مستوى مكونات النموذج (model component-level)، وعلى مستوى الفضاءات الجزئية (subspace-level)، مما يُظهر كفاءته ودقته. وتسليط الضوء على تجربتنا يُظهر إمكانية استخدامه لتحليل تدفق المعلومات بين مكونات عشوائية في نموذج المُحَوِّل. نأمل أن يصبح DePass أداة أساسية لتطبيقات أوسع في مجال التفسيرية.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
DePass: تخصيص الميزة الموحّدة من خلال عملية تمرير أمامية مبسطة ومحللة | الأوراق البحثية | HyperAI