تحسين هندسة الشبكات العصبية

تصميم الهندسة العصبية التلقائي أظهر إمكاناته في اكتشاف هياكل شبكات عصبية قوية. تجري الأساليب الحالية، سواء كانت تعتمد على التعلم التعزيزي أو الخوارزميات التطورية (EA)، بحثًا عن الهيكل في فضاء متقطع، وهو أمر غير فعال للغاية. في هذا البحث، نقترح طريقة بسيطة وفعالة لتصميم الهندسة العصبية التلقائي بناءً على الأمثلة المستمرة. نطلق على هذه الطريقة الجديدة اسم الأمثلة للهندسة العصبية (Neural Architecture Optimization - NAO). هناك ثلاثة مكونات رئيسية في النهج المقترح لدينا: (1) مُشفِّر يدمج/يرسم هياكل الشبكات العصبية في فضاء مستمر. (2) مُتنبِّئ يستخدم تمثيل الشبكة المستمر كمدخل ويتنبأ بدقتها. (3) مُفكِّك يرسم تمثيل الشبكة المستمر مرة أخرى إلى هيكلها. يمكّننا المتنبئ بالأداء والمُشفِّر من أداء الأمثلة بالاستناد إلى الدرجات في الفضاء المستمر لاكتشاف دمج لهيكل جديد قد يكون أكثر دقة. يتم بعد ذلك تفكيك مثل هذا الدمج الأفضل إلى شبكة بواسطة المُفكِّك. تظهر التجارب أن الهيكل الذي تم اكتشافه باستخدام طريقتنا تنافسي للغاية للمهمة الخاصة بتقسيم الصور على CIFAR-10 ومهمة نمذجة اللغة على PTB، حيث يتفوق أو يساوي أفضل نتائج الأساليب السابقة لبحث الهيكل مع خفض كبير في الموارد الحسابية. تحديدًا، حققنا معدل خطأ 1.93% لمجموعة الاختبار لمهمة تقسيم صور CIFAR-10 ومعدل حيرة 56.0 لمجموعة الاختبار لمهمة نمذجة لغة PTB. بالإضافة إلى ذلك، عند الجمع بين الآلية المقترحة حديثًا لمشاركة الأوزان، اكتشفنا هياكل قوية على CIFAR-10 ( بمعدل خطأ 2.93%) وعلى PTB ( بمعدل حيرة 56.6 لمجموعة الاختبار)، باستخدام موارد حاسوبية محدودة جدًا ( أقل من 10 ساعات من وحدات معالجة الرسومات GPU) لكلتا المهمتين.