Haoyu Dong Pengkun Zhang Mingzhe Lu Yanzhen Shen Guolin Ke

الملخص

تمتلك النماذج اللغوية الكبيرة (LLMs) معرفة واسعة بالعالم وقدرة قوية على الاستدلال العام، إلا أنها تواجه صعوبة في التعلم من عدد كبير من الأمثلة المُقدمة ضمن السياق في المهام القياسية للتعلم الآلي (ML)، أي في الاستفادة من أمثلة متعددة (many-shot demonstrations) عبر التعلم ضمن السياق (ICL) فقط دون استخدام الانحدار التدرجي (gradient descent). نقدم إطارًا قابلاً للتنقل يُسمى MachineLearningLM، يُزوّد نموذج لغوي عام بقدرات قوية في التعلم ضمن السياق للتعلم الآلي، مع الحفاظ على معرفته العامة واستدلاله الواقعي، مما يمكّنه من أداء مهام دردشة أوسع نطاقًا.يُولّد إجراء ما قبل التدريب لدينا مهام تعلم آلي من ملايين النماذج السببية الهيكلية (SCMs)، تغطي مجموعات أعداد تصل إلى 1,024 مثالًا. نبدأ بنموذج "غابة عشوائية" (random-forest) كمعلم، حيث نُدرّس النموذج اللغوي الاستراتيجيات الاستنتاجية القائمة على الأشجار، بهدف تعزيز قدرته على التحمل في النمذجة العددية. وتُحوَّل جميع المهام إلى تسلسلات باستخدام نموذج دعوة فعّال من حيث عدد الرموز (token-efficient prompt)، مما يسمح بتضمين ما بين 3 إلى 6 أضعاف عدد الأمثلة ضمن نافذة السياق الواحدة، ويُسهم في تحقيق عائد يصل إلى 50 ضعفًا في الكفاءة المُعادلة عبر التنبؤ الجماعي (batch inference).وعلى الرغم من بساطة الإعداد (استخدام نموذج Qwen-2.5-7B-Instruct مع رتبة LoRA 8)، فإن MachineLearningLM يتفوّق على النماذج اللغوية الكبيرة القوية (مثل GPT-5-mini) بمتوسط 15% في مهام التصنيف الجداولية خارج التوزيع (out-of-distribution tabular classification) عبر مجالات متنوعة تشمل المالية، والفيزياء، والبيولوجيا، والرعاية الصحية. كما يُظهر قانون تكبير ملحوظ في الحالات المتعددة (many-shot scaling law): حيث تزداد الدقة بشكل متزايد مع زيادة عدد الأمثلة ضمن السياق من 8 إلى 1,024. وبلا أي تدريب مخصص للمهمة، يحقق دقة تُعادل دقة نموذج الغابة العشوائية عبر مئات الأمثلة. كما تم الحفاظ على قدرات الدردشة العامة، بما في ذلك المعرفة والاستدلال: حيث بلغت دقة النموذج 75.4% في اختبار MMLU.