تعلم أين تنظر — إن التصميم الشبكي العصبي التوليدي فعّال بشكل مدهش

أثار البحث الفعّال والآلي عن هياكل الشبكات العصبية ذات الأداء الجيد (NAS) اهتمامًا متزايدًا في السنوات الأخيرة. وتركز الدراسة السائدة على تقليل الحاجة إلى تقييمات مكلفة للهياكل العصبية، مع استكشاف فعّال لمساحات بحث كبيرة. لتحقيق هذا الهدف، تُدمج النماذج الاستباقية (surrogate models) للهياكل في فضاء خفي (latent space) وتتنبأ بأدائها، بينما تتيح النماذج المولدة للهياكل العصبية إجراء بحث مبني على التحسين داخل هذا الفضاء الخفي الذي يستمد منه المولّد العينات. تسعى كل من النماذج الاستباقية والنموذج المولد إلى تسهيل عملية البحث الفعّالة من حيث عدد الاستفسارات (query-efficient) داخل فضاء خفي منظم جيدًا. في هذه الورقة، نُحسّن بشكل أكبر التوازن بين كفاءة الاستفسار وتكوين هياكل واعدة، من خلال الاستفادة من المزايا المتوفرة في كلا النموذجين: النماذج الاستباقية الفعّالة والتصميم المولد. ولتحقيق ذلك، نقترح نموذجًا مولدًا مزودًا ب Predictor استباقي، يتعلم بشكل تكراري توليد عينات من فضاءات فرعية خفية متزايدة القدرة الواعدة. يؤدي هذا النهج إلى بحث فعّال وفعال جدًا في الهياكل، مع الحفاظ على عدد الاستفسارات منخفضًا. علاوة على ذلك، يسمح هذا النهج بشكل مباشر بتحقيق التحسين المشترك لعدة أهداف، مثل الدقة وتأخير الأجهزة (hardware latency). نُظهر فوائد هذا النهج ليس فقط فيما يتعلق بتحسين الهياكل لتحقيق أعلى دقة تصنيف، بل أيضًا في سياق القيود المادية للأجهزة، ونُفوق الطرق المتطورة في العديد من معايير NAS، سواء لهدف واحد أو لأهداف متعددة. كما نحقق أداءً من الدرجة الأولى (state-of-the-art) على مجموعة بيانات ImageNet. يُمكن الوصول إلى الكود من خلال الرابط: http://github.com/jovitalukasik/AG-Net.