HyperAIHyperAI

Command Palette

Search for a command to run...

تدريب الشبكات الفرعية غير المتحيزة باستخدام تقليم الأوزان التبايني

Geon Yeong Park Sangmin Lee Sang Wan Lee Jong Chul Ye

الملخص

الشبكات العصبية غالباً ما تكون متحيزة نحو خصائص ذات صلة زائفة تقدم أدلة إحصائية مضللة لا تعمم. وهذا يثير سؤالاً مثيراً للاهتمام: "هل يمكن أن يوجد في شبكة متحيزة بشدة وظيفة فرعية مثلى وغير متحيزة؟ وإذا كان الأمر كذلك، كيف يمكن استخراج مثل هذه الشبكة الفرعية؟" بينما تم جمع أدلة تجريبية حول وجود مثل هذه الشبكات الفرعية غير المتحيزة، فإن هذه الملاحظات تعتمد بشكل أساسي على إرشاد العينات الحقيقية غير المتحيزة. وبالتالي، لم يتم استكشاف كيفية اكتشاف الشبكات الفرعية المثلى باستخدام مجموعات بيانات تدريب متحيزة في الممارسة العملية. للتعامل مع هذا، نقدم أولاً رؤيتنا النظرية التي تحذر من القيود المحتملة للخوارزميات الموجودة في استكشاف الشبكات الفرعية غير المتحيزة في ظل وجود علاقات زائفة قوية. ثم نوضح بشكل أكبر أهمية العينات المتعارضة مع التحيز في تعلم الهيكل. مستوحاة من هذه الملاحظات، نقترح خوارزمية تقليم الأوزان التباينية غير المتحيزة (Debiased Contrastive Weight Pruning - DCWP)، والتي تستكشف الشبكات الفرعية غير المتحيزة دون الحاجة إلى تصنيفات مجموعة باهظة الثمن. تظهر النتائج التجريبية أن نهجنا يتفوق بشكل كبير على أفضل طرق التحييد الحالية رغم تخفيضه الكبير في عدد المعاملات (parameters).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تدريب الشبكات الفرعية غير المتحيزة باستخدام تقليم الأوزان التبايني | مستندات | HyperAI