LayerNAS: البحث عن البنية العصبية بتعقيد متعدد الحدود

أصبحت عملية بحث البنية العصبية (NAS) طريقة شائعة لاكتشاف بنى نماذج فعّالة، وخاصةً بالنسبة للأجهزة المستهدفة. وبما أن الطرق المُستخدمة في NAS التي تُوجِد الهياكل المثلى ضمن قيود معينة أصبحت ضرورية، فإننا في هذا البحث نقترح طريقة تُسمى LayerNAS لمعالجة تحدي NAS متعدد الأهداف من خلال تحويله إلى مشكلة تحسين تبادلي، مما يُقيّد بشكل فعّال تعقيد البحث ليصبح كثير الحدود.لنموذج بنية يحتوي على $L$ طبقات، نُجري عملية بحث طبقيًا لكل طبقة، باختيار من مجموعة من الخيارات المتاحة $\mathbb{S}$. تقوم LayerNAS بتجميع 후وّات النموذج بناءً على هدف واحد، مثل حجم النموذج أو التأخير (latency)، ثم تبحث عن النموذج الأمثل بناءً على هدف آخر، مما يُقسّم عناصر التكلفة والمكافأة في عملية البحث. ويؤدي هذا النهج إلى تقليل تعقيد البحث إلى $ O(H \cdot |\mathbb{S}| \cdot L) $، حيث يُعتبر $H$ ثابتًا مُحدَّدًا مسبقًا في LayerNAS.أظهرت تجاربنا أن LayerNAS قادرة على اكتشاف نماذج متفوّقة بشكل متسق عبر مجموعة متنوعة من فضاءات البحث، مقارنةً بأساليب قوية أخرى، بما في ذلك فضاءات بحث مستمدة من NATS-Bench، وMobileNetV2، وMobileNetV3.