أشجار قرارات مائلة من مشتقات الشبكات العصبية ذات الدالة التنشيط ReLU

نُظهر كيف يمكن استخدام النماذج العصبية لتحقيق الدوال الثابتة قطاعيًا، مثل أشجار القرار. وتستند البنية المُقترحة، التي نسميها شبكات ثابتة محليًا، إلى شبكات ReLU التي تكون قطاعيًا خطية، وبالتالي تكون المشتقات المرتبطة بها بالنسبة للمدخلات ثابتة محليًا. ونُثبت رسميًا التكافؤ بين فئتي الشبكات الثابتة محليًا وأشجار القرار. علاوة على ذلك، نُبرز عدة خصائص مُفضّلة للشبكات الثابتة محليًا، بما في ذلك قدرتها على تمثيل أشجار قرار مائلة مع مشاركة المعلمات عبر الفروع والعقد الطرفية. ففي الواقع، يكفي استخدام $M$ عصبون فقط لتمثيل شجرة قرار مائلة ذات $2^M$ عقدة نهائية بشكل ضمني. كما أن التمثيل العصبي يمكّننا من تبني العديد من الأدوات المطورة للشبكات العميقة (مثل DropConnect (Wan et al., 2013)) أثناء تدريب أشجار القرار بشكل ضمني. ونُظهر أن طريقة التمثيل هذه تتفوّق على التقنيات البديلة لتدريب أشجار القرار المائلة في سياق مهام تصنيف وانحدار الخصائص الجزيئية.