Fair DARTS: إزالة المزايا غير العادلة في البحث المُختلف عن الهيكل المعماري

يُعدّ البحث المُختلف عن البنية المعمارية (DARTS) الآن طريقة شائعة جدًا لبحث البنية المعمارية في الشبكات العصبية التي تعتمد على مشاركة الأوزان. ومع ذلك، يعاني من انهيار أداء معروف ناتج عن تجميع لا مفرّ منه للروابط المُخطّطة (skip connections). في هذه الورقة، نُفصح أولًا عن أن السبب الجذري يكمن في ميزة غير عادلة في المنافسة الحصرية. ومن خلال التجارب، نُظهر أن اختلال أي من الشرطين المذكورين يؤدي إلى اختفاء الانهيار. ومن ثمّ، نقدّم منهجية جديدة تُسمّى Fair DARTS، حيث يتمّ تخفيف المنافسة الحصرية لتصبح تعاونية. وبشكل محدد، نجعل وزن البنية المعمارية لكل عملية مستقلًا عن غيره. ومع ذلك، لا يزال هناك قضية مهمة تتمثل في الفجوة الناتجة عن التقطيع (discretization discrepancy). ولهذا، نقترح خسارة صفر-واحد (zero-one loss) لدفع وزن البنية المعمارية نحو الصفر أو الواحد، مما يُقرب من حل متعدد المُحمّلات (multi-hot) المتوقّع. أجرينا تجاربنا على فراغين بحث رئيسيين، وتمّ تحقيق نتائج جديدة من أفضل النتائج على CIFAR-10 وImageNet. يمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/xiaomi-automl/fairdarts.