NASI: بحث معماري عصبي عام لا يعتمد على التسمية ولا على البيانات عند التهيئة

شهدت السنوات الأخيرة ازديادًا كبيرًا في الاهتمام ببحث الهياكل العصبية (Neural Architecture Search - NAS). وقد تم اقتراح العديد من الخوارزميات بهدف تحسين كفاءة وفعالية بحث الهياكل العصبية، أي تقليل تكلفة البحث وتحسين أداء التعميم للهياكل المختارة على التوالي. ومع ذلك، تظل كفاءة هذه الخوارزميات محدودة بشكل كبير بسبب الحاجة إلى تدريب النموذج أثناء عملية البحث. ول superar هذا التحدي، نقترح خوارزمية NAS جديدة تُسمى "بحث الهيكل العصبي عند التهيئة" (NAS at Initialization - NASI)، والتي تستفيد من قدرة نواة المماس العصبي (Neural Tangent Kernel) على وصف الأداء المتقارب للهياكل المرشحة في لحظة التهيئة، مما يسمح بالتخلي التام عن تدريب النموذج، وبالتالي تعزيز كفاءة البحث. وبالإضافة إلى تحسين كفاءة البحث، تحقق NASI أداءً تنافسيًا في فعالية البحث على مجموعة متنوعة من المجموعات البيانات مثل CIFAR-10/100 وImageNet. علاوة على ذلك، أُثبت أن NASI تكون غير حساسة للوسوم (label-agnostic) وغير حساسة للبيانات (data-agnostic) تحت ظروف معتدلة، مما يضمن قابلية نقل الهياكل التي تُختار بواسطة NASI بين مجموعات بيانات مختلفة.