TNASP: مُقدِّر NAS يعتمد على Transformer مع إطار عمل ذاتي التطور

تبقى طريقة البحث عن البنية العصبية القائمة على المُقدِّر (Predictor-based Neural Architecture Search - NAS) موضوعًا مهمًا، نظرًا لسعيها لتقليل العملية الزمنية الطويلة المرتبطة بطرق البحث التقليدية في NAS. يُعد المُقدِّر الأداءي الفعّال حاسمًا لجودة النماذج النهائية التي يتم اكتشافها في الطرق القائمة على المُقدِّر. تعتمد معظم الطرق القائمة على المُقدِّر الحالية على تدريب مُقدِّرات تعتمد على النموذج ضمن بيئة بيانات بديلة (proxy dataset)، والتي قد تتعرض لتراجع في الدقة ومشاكل في التعميم، وذلك بشكل رئيسي بسبب قدرتها الضعيفة على تمثيل المعلومات الهيكلية المكانية للبيانات ذات البنية الرسومية (graph structure). علاوةً على ضعف تمثيل المعلومات المكانية، لم تستفد هذه الدراسات من المعلومات الزمنية، مثل تقييمات سابقة خلال عملية التدريب. ولذلك، نقترح مُقدِّرًا للأداء في NAS يستند إلى معمارية Transformer، مصحوبًا Estrategy لترميز الموضع المستند إلى مصفوفة لابلاس (Laplacian matrix-based positional encoding)، والذي يُمكّن من تمثيل أفضل للمعلومات الهيكلية، ويحقق أداءً أفضل من أحدث الطرق المُعلنة في مساحات البحث NAS-Bench-101 وNAS-Bench-201 وDARTS. بالإضافة إلى ذلك، نقترح إطارًا ذاتيًا للتطور (self-evolution framework) يمكنه استغلال المعلومات الزمنية بالكامل كدليل توجيهي. يُكرر هذا الإطار دمج تقييمات النتائج المُقدَّرة سابقًا كقيود في تكرار التحسين الحالي، مما يُعزز الأداء الإضافي لمُقدِّرنا. ويُعد هذا الإطار مُجردًا من الاعتماد على نموذج معين (model-agnostic)، وبالتالي يمكنه تعزيز الأداء على هياكل أساسية مختلفة لمهام التنبؤ. وقد ساعدنا هذا النهج في تحقيق المركز الثاني بين جميع الفرق في مسابقة CVPR 2021، ضمن مسار التنبؤ بالأداء (Performance Prediction Track)، ضمن مسار البحث عن البنية العصبية (NAS Competition Track 2).