AlphaX: استكشاف هياكل الشبكات العصبية باستخدام الشبكات العصبية العميقة والبحث الشجري مونت كارلو

أظهرت خوارزميات البحث عن العمارة العصبية (Neural Architecture Search - NAS) نجاحًا كبيرًا في تلقائيّة تصميم الشبكات العصبية، ولكن الكمية المُحَظَّرَة من الحسابات وراء طرق NAS الحالية تتطلب المزيد من الدراسات لتحسين كفاءة العيّنات وتقليل تكلفة تقييم الشبكة للحصول على نتائج أفضل في وقت أقصر. في هذا البحث، نقدم وكيل بحث جديد قابل للتوسع يعتمد على خوارزمية البحث الشجري مونتي كارلو (Monte Carlo Tree Search - MCTS)، باسم AlphaX، لمعالجة هذين الجانبين. يحسن AlphaX كفاءة البحث من خلال موازنة التكيف والاستغلال بشكل متكيف على مستوى الحالة، ومن خلال شبكة عصبية عميقة متفردة (Meta-Deep Neural Network - DNN) لتوقع دقة الشبكات وتحيز البحث نحو منطقة واعدة. لتعويض تكلفة تقييم الشبكة، يسرع AlphaX عمليات التكرار في MCTS باستخدام تصميم موزع ويقلل عدد الدورات اللازمة لتقييم شبكة ما من خلال التعلم النقل بدلالة الهيكل الشجري في MCTS. وفي غضون 12 يومًا باستخدام 1000 عيّنة ومعالجات الرسوميات (GPU)، اكتشف AlphaX هيكلًا يصل إلى دقة 97.84٪ في الترتيب الأول على مجموعة بيانات CIFAR-10، ودقة 75.5٪ في الترتيب الأول على مجموعة بيانات ImageNet، مما يتفوق على أفضل الطرق الحالية في NAS من حيث الدقة وكفاءة العيّنات. كما قمنا أيضًا بتقييم AlphaX على NASBench-101، وهو مجموعة بيانات كبيرة لمجال NAS؛ فقد كان AlphaX أكثر كفاءةً بمقدار ثلاثة أضعاف وأكثر من البحوث العشوائية وأربعة أضعاف وثمانية أعشار الضعف من التطور المنتظم في العثور على الأمثل العالمي. أخيرًا، نوضح أن الهيكل الذي تم اكتشافه يحسن مجموعة متنوعة من التطبيقات البصرية بدءًا من تحويل الأسلوب العصبي (Neural Style Transfer) وحتى إنشاء التعليقات الصوتية للصور (Image Captioning) والكشف عن الأشياء (Object Detection).