HyperAIHyperAI

Command Palette

Search for a command to run...

SearchInstruct: تحسين التكيّف النطاقي من خلال إنشاء مجموعة بيانات تعليمية تعتمد على الاسترجاع

Iman Barati Mostafa Amiri Heshaam Faili

الملخص

يُعد التدريب المُشرف (Supervised Fine-Tuning (SFT)) ضروريًا لتدريب النماذج اللغوية الكبيرة (Large Language Models (LLMs))، حيث يُعزز بشكل كبير القدرات الحيوية مثل اتباع التعليمات والتعلم في السياق. ومع ذلك، لا يزال إنشاء مجموعات بيانات تدريب مناسبة ومخصصة لفئات معينة يشكل تحديًا كبيرًا نظرًا للقيود المميزة لكل مجال ونقص البيانات. في هذه الورقة، نقترح منهجية جديدة تُسمى SearchInstruct، المصممة صراحةً لبناء مجموعات بيانات تعليمية عالية الجودة لغرض التدريب المُشرف. يبدأ نهجنا بمجموعة محدودة من الأسئلة المُولَّدة يدويًا ومخصصة لمجال معين، والتي تُوسَّع بشكل منهجي باستخدام نموذج لغوي كبير. ثم يتم استرجاع مصادر ذات صلة بالمجال بشكل ديناميكي لتوليد إجابات دقيقة ومناسبة سياقيًا لكل سؤال مُعدّل. تُظهر النتائج التجريبية أن منهجية SearchInstruct تُحسّن كلاً من تنوع ونوعية مجموعات بيانات التدريب المُشرف، مما يؤدي إلى تحسين ملموس في أداء النماذج اللغوية الكبيرة داخل المجالات المتخصصة. بالإضافة إلى ذلك، نُظهر أن المنهجية المقترحة لا تقتصر فقط على إنشاء مجموعات البيانات، بل يمكنها أيضًا دعم مهام مثل تعديل النماذج، مما يتيح تحديثات فعّالة للنماذج الحالية. ولتعزيز إمكانية إعادة الإنتاج وتوسيع اعتماد المجتمع، نوفر تفاصيل التنفيذ الكاملة، وجميع أزواج التعليمات والإجابات المُنشأة، بالإضافة إلى الكود المصدري في مستودع Git مفتوح للجمهور: https://github.com/mostafaamiri/SearchInstruct


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
SearchInstruct: تحسين التكيّف النطاقي من خلال إنشاء مجموعة بيانات تعليمية تعتمد على الاسترجاع | مستندات | HyperAI