قياس التعميم التكويني: طريقة شاملة على بيانات واقعية

تُظهر الطرق الحديثة في التعلم الآلي قدرة محدودة على التعميم التكويني. في الوقت نفسه، يُعدّ غياب المعايير الواقعية التي تقيس بشكل شامل هذه القدرة عائقًا يُعقّد عملية اكتشاف التحسينات وتقييمها. نقدّم طريقة جديدة لبناء هذه المعايير بشكل منهجي من خلال تكبير التباين التكويني مع ضمان حد أدنى للتباين الذري بين مجموعات التدريب والاختبار، ونُجري مقارنة كمية بين هذه الطريقة وطرق أخرى لبناء معايير التعميم التكويني. ونُقدّم مجموعة بيانات كبيرة وواقعية لأسئلة الإجابة باللغة الطبيعية مبنية وفق هذه الطريقة، ونستخدمها لتحليل قدرة ثلاث هياكل لتعلم الآلة على التعميم التكويني. ونجد أن هذه الهياكل تفشل في التعميم التكويني، وأن هناك ارتباطًا سلبيًا مفاجئًا وقويًا بين التباين التكويني والدقة. كما نُظهر كيف يمكن استخدام طريقتنا لبناء معايير جديدة للتكوينية على أساس مجموعة بيانات SCAN الموجودة مسبقًا، مما يؤكد هذه النتائج.