BossNAS: استكشاف الهجينة بين الشبكات العصبية التلافيفية والتحويلات باستخدام بحث هندسة البنى العصبية ذاتية التدريب على مستوى الكتل

أظهرت العديد من التطورات الأخيرة في الهياكل العصبية اليدوية لتمييز الصور الحاجة الملحة إلى استكشاف هياكل هجينة تتكون من وحدات بناء متنوعة. في الوقت نفسه، تشهد أساليب بحث الهيكل العصبي (NAS) نمواً متسارعاً، مع توقعات بتقليل الجهد البشري. ومع ذلك، ما إذا كانت أساليب NAS قادرة على التعامل بكفاءة وفعالية مع فضاءات بحث متنوعة تتضمن مرشحات مختلفة (مثل الشبكات العصبية التلافيفية (CNNs) والمحولات (Transformers)) لا يزال سؤالاً مفتوحاً. في هذه الدراسة، نقدم طريقة "بحث هياكل عصبية ذاتية التدريب على مستوى الكتل" (BossNAS)، وهي طريقة NAS غير مراقبة تعالج مشكلة تقييم غير دقيق للهياكل الناتجة عن الفضاء الكبير المشترك للوزن والتدريس المتحيز في الأساليب السابقة. وبشكل أكثر تحديداً، نقوم بتقسيم فضاء البحث إلى كتل، واستخدام خطة تدريب ذاتية جديدة تُسمى "الاستخلاص الجماعي" (ensemble bootstrapping) لتدريب كل كتلة بشكل منفصل قبل دمجها معاً نحو المركز السكاني للنماذج. علاوةً على ذلك، نقدم فضاء بحث "HyTra"، وهو فضاء هجين من الشبكات العصبية التلافيفية والمحولات على شكل نسيج، يحتوي على مواقع قابلة للبحث لعملية التقليل (down-sampling). على هذا الفضاء الصعب، حقق النموذج المُستخرج باستخدام BossNAS، المسمى BossNet-T، دقة تصل إلى 82.5% على مجموعة بيانات ImageNet، متفوقاً على EfficientNet بنسبة 2.4% مع وقت حساب مماثل. علاوةً على ذلك، تحقق طريقتنا دقة تقييم هياكل أعلى، حيث بلغت معامل ارتباط سبيرمان 0.78 و0.76 على فضاء البحث القياسي MBConv باستخدام ImageNet وعلى فضاء البحث NATS-Bench باستخدام CIFAR-100، على التوالي، متفوقةً على أحدث أساليب NAS. الكود: https://github.com/changlin31/BossNAS