مقايضة التحيز والتباين

في الإحصاء والتعلم الآلي، يصف التوازن بين التحيز والتباين العلاقة بين تعقيد النموذج ودقة تنبؤاته وقدرته على التنبؤ ببيانات لم يسبق رؤيتها ولم تُستخدم لتدريب النموذج.بصفة عامة، مع زيادة عدد المعلمات القابلة للضبط في نموذج ما، فإنه يصبح أكثر مرونة ويمكنه أن يتناسب بشكل أفضل مع مجموعة بيانات التدريب. ومع ذلك، بالنسبة للنماذج الأكثر مرونة، في كل مرة يتم فيها أخذ عينة جديدة لإنشاء مجموعة بيانات تدريبية جديدة، يميل ملاءمة النموذج إلى أن يكون لها تباين أكبر.

معضلة التحيز والتباين أو مشكلة التحيز والتباين هي الصراع بين محاولة تقليل هذين المصدرين للخطأ في وقت واحد.يمنع هذان المصدران للخطأ خوارزميات التعلم الخاضع للإشراف من التعميم خارج مجموعة التدريب الخاصة بها:

• خطأ التحيز هو الخطأ الناتج عن افتراضات غير صحيحة في خوارزمية التعلم. قد يؤدي التحيز العالي إلى تفويت الخوارزمية للعلاقات ذات الصلة بين الميزات والإخراج المستهدف (عدم الملاءمة).
• التباين هو الخطأ الناتج عن الحساسية للتقلبات الصغيرة في مجموعة التدريب. قد تؤدي الخوارزميات التي تقوم بنمذجة الضوضاء العشوائية في بيانات التدريب إلى تباين كبير (الإفراط في التجهيز).

إن التوازن بين التحيز والتباين يشكل قضية أساسية في التعلم الخاضع للإشراف. الوضع المثالي هو اختيار نموذج يلتقط بدقة الأنماط الموجودة في بيانات التدريب ويعمم بشكل جيد على البيانات غير المرئية. لسوء الحظ، فإنه عادة ما يكون من المستحيل القيام بالأمرين في نفس الوقت. قد تتمكن طريقة التعلم ذات التباين العالي من تمثيل مجموعة التدريب الخاصة بها بشكل جيد، ولكنها تتعرض لخطر الإفراط في التجهيز لبيانات التدريب غير الواضحة أو غير التمثيلية. وعلى العكس من ذلك، فإن الخوارزميات ذات التحيز العالي غالبًا ما تنتج نماذج أبسط قد تفشل في التقاط الانتظامات المهمة في البيانات (أي عدم الملاءمة).

مراجع

【1】https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff