الفوز باليانصيب من خلال التنقيذ المستمر

يُجري الباحثون بحثًا مكثفًا للعثور على نماذج شبكات عصبية عميقة فعالة ومتناثرة (نادرة الكثافة) بشكل رئيسي من خلال التقليم: تدريب شبكة كثيفة وذات معلمات زائدة وإزالة المعلمات، غالبًا عبر اتباع قاعدة تقليم يدوية الصنع. بالإضافة إلى ذلك، فإن فرضية التذكرة السعيدة (Lottery Ticket Hypothesis) الحديثة تفترض أنه، بالنسبة لشبكة عصبية ذات حجم طبيعي، يمكن العثور على شبكات فرعية صغيرة يمكنها، عند تدريبها من البداية بميزانية مماثلة، أن تحقق أداءً يعادل أداء الشبكة الأصلية الكثيفة. نعيد النظر في جوانب أساسية من خوارزميات التقليم، ونشير إلى المكونات الناقصة في الأساليب السابقة، ونطور طريقة جديدة تُسمى التمحيص المستمر (Continuous Sparsification)، والتي تقوم بالبحث عن شبكات متناثرة بناءً على تقريب جديد لتنظيم $\ell_0$ غير القابل للحل. نقوم بمقارنة هذه الطريقة مع الأساليب الرائدة التي تعتمد على القواعد اليدوية في مجال التقليم وكذلك البحث عن التذاكر -- أي العثور على شبكات فرعية متناثرة يمكن إعادة تدريبها بنجاح من حالة متكررة مبكرة. تظهر النتائج التجريبية أننا نتفوق على أفضل ما تم تحقيقه حتى الآن في كلتا الغايتين، عبر مختلف النماذج والقواعد البيانات، بما في ذلك VGG المدربة على CIFAR-10 و ResNet-50 المدربة على ImageNet. بالإضافة إلى وضع معيار جديد للتقليم، فإن التمحيص المستمر يقدم أيضًا بحثًا سريعًا بالتوازي عن التذاكر، مما يفتح آفاقًا جديدة لتطبيقات فرضية التذكرة السعيدة.