HyperAIHyperAI

Command Palette

Search for a command to run...

Fair DARTS: إزالة المزايا غير العادلة في البحث المُختلف عن الهيكل المعماري

Xiangxiang Chu Tianbao Zhou Bo Zhang Jixiang Li

الملخص

يُعدّ البحث المُختلف عن البنية المعمارية (DARTS) الآن طريقة شائعة جدًا لبحث البنية المعمارية في الشبكات العصبية التي تعتمد على مشاركة الأوزان. ومع ذلك، يعاني من انهيار أداء معروف ناتج عن تجميع لا مفرّ منه للروابط المُخطّطة (skip connections). في هذه الورقة، نُفصح أولًا عن أن السبب الجذري يكمن في ميزة غير عادلة في المنافسة الحصرية. ومن خلال التجارب، نُظهر أن اختلال أي من الشرطين المذكورين يؤدي إلى اختفاء الانهيار. ومن ثمّ، نقدّم منهجية جديدة تُسمّى Fair DARTS، حيث يتمّ تخفيف المنافسة الحصرية لتصبح تعاونية. وبشكل محدد، نجعل وزن البنية المعمارية لكل عملية مستقلًا عن غيره. ومع ذلك، لا يزال هناك قضية مهمة تتمثل في الفجوة الناتجة عن التقطيع (discretization discrepancy). ولهذا، نقترح خسارة صفر-واحد (zero-one loss) لدفع وزن البنية المعمارية نحو الصفر أو الواحد، مما يُقرب من حل متعدد المُحمّلات (multi-hot) المتوقّع. أجرينا تجاربنا على فراغين بحث رئيسيين، وتمّ تحقيق نتائج جديدة من أفضل النتائج على CIFAR-10 وImageNet. يمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/xiaomi-automl/fairdarts.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp