CATE: ترميز معمارية عصبية يراعي الحساب باستخدام المحولات

أظهرت الدراسات الحديثة (White et al., 2020a; Yan et al., 2020) أهمية الترميزات المعمارية في عملية البحث عن الهياكل العصبية (NAS). تُرمّز هذه الترميزات إما معلومات البنية أو معلومات الحساب بالنسبة للهياكل العصبية. مقارنةً بالتّرميزات التي تراعي البنية، فإن التّرميزات التي تراعي الحساب تُرَمّز الهياكل ذات الدقة المماثلة إلى نفس المنطقة، مما يُحسّن أداء البحث التالي على الهياكل (Zhang et al., 2019; White et al., 2020a). في هذا العمل، نقدّم طريقة ترميز تعتمد على نموذج المُحَوِّل (Transformer) وتُراعي الحساب، وتُسمّى CATE. على عكس التّرميزات الحالية التي تعتمد على تحويلات ثابتة (مثل ترميز المسارات)، تستخدم CATE نموذجًا تدريسيًا زوجيًا لتعلم ترميزات تراعي الحساب باستخدام نماذج المُحَوِّل مع انتباه متقاطع. تُحتوي هذه التّرميزات المُتعلّمة على معلومات حسابية كثيفة وسياقية عن الهياكل العصبية. قارنا CATE مع أحد عشر طريقة ترميز ضمن ثلاث وظائف فرعية رئيسية تعتمد على التّرميز في فضاءات بحث صغيرة وكبيرة. أظهرت تجاربنا أن CATE تُسهم في تحسين البحث التالي، خاصةً في فضاءات البحث الكبيرة. علاوةً على ذلك، أظهرت التجارب خارج فضاء البحث أن CATE تمتلك قدرة تعميم متفوّقة مقارنةً بمساحة البحث التي تم تدريبها عليها. يمكن الوصول إلى الكود الخاص بنا عبر الرابط التالي: https://github.com/MSU-MLSys-Lab/CATE.