خوارزميات التدرج الواعية بالهندسة لبحث الهيكل العصبي

تستغل الطرق الحديثة المتطورة لبحث الهياكل العصبية (NAS) التحسين القائم على التدرج من خلال تبسيط المشكلة إلى تحسين مستمر على الهياكل المُشتركة والوزن، وهي عملية ضوضائية لا تزال غير مفهومة جيدًا. نحن ندعو إلى دراسة تقليل المخاطر التجريبية على مستوى واحد لفهم NAS مع مشاركة الوزن، مما يُقلل من تصميم طرق NAS إلى تطوير مُحسّنات وعوامل تنظيم يمكنها التوصل بسرعة إلى حلول عالية الجودة لهذا المشكل. بالاعتماد على نظرية الانحدار المُرآة (mirror descent)، نقدّم إطارًا يأخذ بعين الاعتبار البنية الهندسية لهذه المشكلة، بحيث يستغل البنية الكامنة في عملية التحسين لإنتاج معاملات هندسية مُتفرّقة، ما يؤدي إلى خوارزميات بسيطة ولكنها جديدة، تتمتع بضمانات تقارب سريع وتحقيق دقة من الدرجة الرائدة في أحدث معايير NAS في مجال الرؤية الحاسوبية. وبشكل لافت، نفوق أفضل النتائج المنشورة لكل من CIFAR وImageNet على فضاء البحث DARTS وNAS-Bench201؛ وعلى الأخير، نحقق أداءً قريبًا من الأداء المثالي (near-oracle-optimal) على CIFAR-10 وCIFAR-100. بشكل متكامل، تُظهر نظرياتنا وتجاربنا طريقة منهجية لتصميم مُحسّنات وتفعيلات مستمرة لمساحات بحث NAS المنفصلة معًا.