تعزيز التدرج

Gradient Boosting عبارة عن خوارزمية تعلم جماعي تعمل على بناء نموذج تنبؤ قوي من خلال الجمع بين نماذج تنبؤ ضعيفة متعددة (عادةً أشجار القرار). ويتمثل جوهر هذه الطريقة في زيادة تعقيد النموذج تدريجيًا عن طريق تحسين دالة الخسارة، وبالتالي تحسين دقة التنبؤ. يمكن استخدام تعزيز التدرج لحل مشاكل الانحدار والتصنيف.

تم اقتراح هذا المفهوم لأول مرة من قبل جيروم هـ. فريدمان في عام 1999، والذي قدم فكرة الانحدار المتدرج في خوارزمية التعزيز من أجل التعامل مع وظائف الخسارة المختلفة. في ورقتهتقريب الدالة الجشعة: آلة تعزيز التدرج"يتم شرح مبادئ وتطبيقات خوارزمية تعزيز التدرج بالتفصيل.

يمكن لتعزيز التدرج استخدام أي دالة خسارة قابلة للتفاضل، مثل الخطأ التربيعي، أو الخطأ المطلق، أو الإنتروبيا المتقاطعة، مما يجعله أكثر مرونة وعمومية من الخوارزميات الأخرى المستندة إلى دوال الخسارة الأسيّة. يمكنه استخدام أي نوع من المتعلمين الأساسيين، مثل شجرة القرار أو الشبكة العصبية أو آلة الدعم المتجه، مما يزيد من تنوع وقوة الخوارزمية. من خلال ضبط المعلمات مثل معدل التعلم وعدد التكرارات وعمق الشجرة، يمكن لتعزيز التدرج التحكم في درجة التعقيد والإفراط في ملاءمة النموذج، وبالتالي تحسين استقرار الخوارزمية وإمكانية التحكم فيها.

تُستخدم تقنية تعزيز التدرج على نطاق واسع في التصنيع والتشخيص الطبي وتصميم المنتجات وتشخيص الأخطاء وفحص الجودة.