XGBoost: نظام تعزيز الأشجار القابل للتوسع

تعتبر تقنية تعزيز الأشجار (Tree Boosting) من الطرق الفعالة والمستخدمة على نطاق واسع في مجال التعلم الآلي. في هذا البحث، نصف نظامًا قابلًا للتوسع يغطي جميع مراحل عملية تعزيز الأشجار يُدعى XGBoost، والذي يستخدمه علماء البيانات بشكل واسع لتحقيق أفضل النتائج في العديد من تحديات التعلم الآلي. نقترح خوارزمية جديدة تراعي الندرة (Sparsity-Aware Algorithm) للبيانات النادرة وخوارزمية الرسم الكمي التقريبي الموزون (Weighted Quantile Sketch) لتعلم الأشجار التقريبي. وأهم من ذلك، نقدم رؤى حول أنماط الوصول إلى ذاكرة التخزين المؤقت (Cache Access Patterns)، والضغط على البيانات (Data Compression)، وتقطيع البيانات (Sharding) لبناء نظام تعزيز أشجار قابل للتوسع. من خلال دمج هذه الرؤى، يمكن لـ XGBoost التعامل مع مليارات الأمثلة باستخدام موارد أقل بكثير مما تتطلبه الأنظمة الحالية.