HyperAIHyperAI
منذ 17 أيام

ParZC: وسائط بديلة صفرية مُعامَلة لاستكشاف فعّال للهياكل الشبكية

Peijie Dong, Lujun Li, Xinglin Pan, Zimian Wei, Xiang Liu, Qiang Wang, Xiaowen Chu
ParZC: وسائط بديلة صفرية مُعامَلة لاستكشاف فعّال للهياكل الشبكية
الملخص

تشير التطورات الحديثة في بحث الهياكل العصبية الصفرية (Zero-shot Neural Architecture Search - NAS) إلى فعالية مؤشرات الصفر التكلفة (zero-cost proxies) في مختلف معايير بحث الهياكل العصبية. وقد اقترح عدد من الدراسات تصميمًا تلقائيًا لمؤشرات الصفر التكلفة لتحقيق أداء متفوق (SOTA)، لكن هذا يتطلب عملية بحث معقدة ومتعبة. علاوةً على ذلك، نحن نحدد مشكلة جوهرية في المؤشرات الصفرية التكلفة الحالية: فهي تجمع الإحصائيات الفردية للعقد (node-wise zero-cost statistics) دون أخذ بعين الاعتبار حقيقة أن جميع العقد في الشبكة العصبية لا تؤثر بالتساوي على تقدير الأداء. تُظهر ملاحظاتنا أن الإحصائيات الفردية للعقد تختلف بشكل كبير في مساهمتها في تقدير الأداء، حيث تظهر كل عقدة درجة معينة من عدم اليقين. استنادًا إلى هذه الرؤية، نقدم طريقة جديدة تُسمى إطار عمل المؤشرات الصفرية التكلفة المُعَمَّمة (Parametric Zero-Cost Proxies - ParZC)، والتي تهدف إلى تعزيز مرونة المؤشرات الصفرية التكلفة من خلال التعميم (parameterization). ولحل مشكلة التمييز بين العقد، نقترح بنية مُمزوجة (Mixer Architecture) مدعومة بشبكة بايزية (Bayesian Network) تُسمى MABN، لاستكشاف الإحصائيات الفردية للعقد الصفرية التكلفة وتقييم عدم اليقين المميز لكل عقدة. بالإضافة إلى ذلك، نقترح دالة خسارة جديدة تُسمى DiffKendall، التي تُحسّن معامل كيندال (Kendall’s Tau) بشكل قابل للتفاضل مباشرة، بحيث يمكن لـ ParZC التعامل بشكل أفضل مع الفروق في ترتيب الهياكل العصبية. أظهرت التجارب الشاملة على مجموعات بيانات NAS-Bench-101 و201 وNDS تفوق الإطار المقترح ParZC مقارنة بالأساليب الحالية لبحث الهياكل العصبية الصفرية. كما نُظهر مرونة وقابلية تكييف ParZC من خلال نقله إلى فضاء بحث نماذج التحويل البصري (Vision Transformer).

ParZC: وسائط بديلة صفرية مُعامَلة لاستكشاف فعّال للهياكل الشبكية | أحدث الأوراق البحثية | HyperAI