SearchInstruct: تحسين التكيّف النطاقي من خلال إنشاء مجموعة بيانات تعليمية تعتمد على الاسترجاع

يُعد التدريب المُشرف (Supervised Fine-Tuning (SFT)) ضروريًا لتدريب النماذج اللغوية الكبيرة (Large Language Models (LLMs))، حيث يُعزز بشكل كبير القدرات الحيوية مثل اتباع التعليمات والتعلم في السياق. ومع ذلك، لا يزال إنشاء مجموعات بيانات تدريب مناسبة ومخصصة لفئات معينة يشكل تحديًا كبيرًا نظرًا للقيود المميزة لكل مجال ونقص البيانات. في هذه الورقة، نقترح منهجية جديدة تُسمى SearchInstruct، المصممة صراحةً لبناء مجموعات بيانات تعليمية عالية الجودة لغرض التدريب المُشرف. يبدأ نهجنا بمجموعة محدودة من الأسئلة المُولَّدة يدويًا ومخصصة لمجال معين، والتي تُوسَّع بشكل منهجي باستخدام نموذج لغوي كبير. ثم يتم استرجاع مصادر ذات صلة بالمجال بشكل ديناميكي لتوليد إجابات دقيقة ومناسبة سياقيًا لكل سؤال مُعدّل. تُظهر النتائج التجريبية أن منهجية SearchInstruct تُحسّن كلاً من تنوع ونوعية مجموعات بيانات التدريب المُشرف، مما يؤدي إلى تحسين ملموس في أداء النماذج اللغوية الكبيرة داخل المجالات المتخصصة. بالإضافة إلى ذلك، نُظهر أن المنهجية المقترحة لا تقتصر فقط على إنشاء مجموعات البيانات، بل يمكنها أيضًا دعم مهام مثل تعديل النماذج، مما يتيح تحديثات فعّالة للنماذج الحالية. ولتعزيز إمكانية إعادة الإنتاج وتوسيع اعتماد المجتمع، نوفر تفاصيل التنفيذ الكاملة، وجميع أزواج التعليمات والإجابات المُنشأة، بالإضافة إلى الكود المصدري في مستودع Git مفتوح للجمهور: https://github.com/mostafaamiri/SearchInstruct