اكتشاف الأمثلة الذهبية: نهج ذكي لتعلم السياق في نماذج اللغة الكبيرة

تُعدّ تقنية التعلّم عبر السياق (In-Context Learning) إحدى الطرق الفعّالة لتحسين أداء النماذج اللغوية الكبيرة (LLMs)، حيث تُقدّم للنموذج أمثلة مسبقة من المدخلات والمخرجات لمساعدته على فهم المطلوب قبل معالجة المهمة الحالية. ومع ذلك، يُعدّ اختيار الأمثلة المناسبة تحديًا كبيرًا، إذ أن الأمثلة العشوائية أو غير المُختارة بعناية قد لا تُسهم في تحسين الأداء بشكل فعّال. في محاولة لحل هذه المشكلة، طرحت شركة جوجل ديب مايند بحثًا بعنوان AuPair: Golden Example Pairs for Code Repair، الذي يقدّم نهجًا منهجيًا لاختيار "الأمثلة الذهبية" (Golden Examples) في مهام إصلاح الكود. بدلاً من الاعتماد على التخمين أو التكرار العشوائي، يعتمد النهج على بناء مجموعة واسعة من أزواج الكود المُهَوَّر والمُصلَح، ثم استخدام خوارزمية ذكية لاختيار أزواج تُسهم بشكل فعّال في تحسين أداء النموذج. يتم ذلك عبر مرحلتين رئيسيتين: أولًا، توليد أزواج أمثلة مرشحة، حيث يتم إنشاء عدد كبير من أزواج الكود المُهَوَّر والمُصلَح باستخدام النموذج نفسه، مع تكرار عملية الإصلاح حتى التوصل إلى حلول دقيقة. ثانيًا، استخراج الأزواج الذهبية (AuPairs)، حيث تُقاس فعالية كل زوج من الأزواج باستخدام مجموعة تحقق مكوّنة من مشكلات كود معطّلة. لكل مشكلة في هذه المجموعة، يُستخدم كل زوج من الأزواج كمثال واحد (1-shot) لمحاولة إصلاح الكود، ثم يُختبر الحل عبر اختبارات وحدة (unit tests) لقياس دقة الإصلاح. يُبنى من هذا مصفوفة جودة تُظهر مدى فعالية كل زوج في حل كل مشكلة. ثم تُطبّق خوارزمية "جشعة" (greedy algorithm): تُختار أول زوج يحقق أعلى متوسط تقييم عبر جميع المشكلات، ثم تُستبعد مساهمته من بقية الأزواج لتجنب التكرار. يُعاد هذا التكرار حتى لا تتحسن الأداء بشكل ملحوظ، مما يضمن أن كل زوج جديد يُعلّم شيئًا جديدًا وغير مكرر. أظهرت النتائج أن AuPair يتفوّق على الطرق التقليدية مثل التفكير الذاتي (self-reflection) وعينة أفضل (best-of-N)، حيث يحقق أداءً مماثلاً باستخدام 12 زوجًا فقط مقابل 32 زوجًا عشوائيًا، ما يعني تحسينًا بنسبة 2–3 أضعاف في كفاءة الحوسبة. كما أثبتت الدراسة أن الأزواج الذهبية المُنشأة على منصة CodeForces تعمل بكفاءة عالية على منصات أخرى مثل HackerEarth وAtCoder، ما يدل على قابليتها للنقل بين المجموعات. ومع ذلك، تظل بعض القيود قائمة: تتطلب العملية حسابات كبيرة لتكوين الأزواج المرشحة، وتعتمد بشكل كامل على وجود معايير تقييم موثوقة مثل اختبارات الوحدة، وهو ما قد لا يكون متاحًا في جميع المجالات. كما أن النتائج محدودة بمشكلات تنافسية منظمة، وليس بالضرورة تطبيقات كود حقيقية معقدة. باختصار، يقدّم AuPair نموذجًا ذكيًا ومنظّمًا لاختيار الأمثلة في التعلّم عبر السياق، لا سيما في مجال إصلاح الكود. رغم التكلفة الحسابية العالية في المرحلة الأولى، فإن الفوائد طويلة المدى تبرر الاستثمار، خاصة مع إمكانية تطبيق نفس المنهج على مجالات أخرى مثل تحويل النص إلى SQL، حيث يمكن توليد وقياس فعالية الأمثلة بشكل منهجي.