HyperAIHyperAI

Command Palette

Search for a command to run...

نماذج الحواجز المفاهيمية النادرة: تقنيات جومبل في التعلم التمييزي

Andrei Semenov Vladimir Ivanov Aleksandr Beznosikov Alexander Gasnikov

الملخص

نُقدِّم معمارية وطريقة جديدة للتصنيف القابل للتفسير باستخدام نماذج الحواجز المفاهيمية (Concept Bottleneck Models - CBMs). في حين أن النماذج الحديثة المتطورة (SOTA) لمهام التصنيف الصوتي تعمل كصندوق أسود، هناك طلب متزايد على نماذج توفر نتائج قابلة للتفسير. غالبًا ما تتعلم هذه النماذج التنبؤ بتوزيع العلامات الفئوية باستخدام وصف إضافي للعينات المستهدفة، يُعرف بـ "المفاهيم". ومع ذلك، تواجه الطرق الحالية القائمة على الحواجز عددًا من القيود: حيث تكون دقتها أقل من دقة النماذج القياسية، كما تتطلب نماذج CBMs مجموعة إضافية من المفاهيم للاستفادة منها. نقدم إطارًا لإنشاء نموذج حواجز مفاهيمية من معّمل متعدد الوسائط مُدرّب مسبقًا، بالإضافة إلى هندسات جديدة مشابهة لـ CLIP. وبإدخال نوع جديد من الطبقات يُعرف بـ "طبقات الحواجز المفاهيمية"، نُعرّف ثلاث طرق لتدريبها: باستخدام خسارة (\ell_1)، وخسارة التباين (contrastive loss)، ووظيفة خسارة تعتمد على توزيع جومبيل-سُوفتماكس (Sparse-CBM)، بينما تُظلَّل الطبقة النهائية (FC) بالتدريب باستخدام خسارة الترددات المتقاطعة (Cross-Entropy). نُظهر زيادة كبيرة في الدقة باستخدام طبقات مخفية نادرة (sparse) في نماذج الحواجز المستندة إلى CLIP، ما يعني أن التمثيل النادر لمتجهات نشاط المفاهيم يكون ذا معنى في نماذج الحواجز المفاهيمية. علاوةً على ذلك، باستخدام خوارزميتنا لبحث المصفوفة المفاهيمية (Concept Matrix Search)، نتمكن من تحسين تنبؤات CLIP على مجموعات بيانات معقدة دون الحاجة إلى أي تدريب إضافي أو ضبط دقيق (fine-tuning). يمكن الوصول إلى الكود من خلال: https://github.com/Andron00e/SparseCBM.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
نماذج الحواجز المفاهيمية النادرة: تقنيات جومبل في التعلم التمييزي | مستندات | HyperAI