الملخص

مع تطور التدريب المُوجَّه (SFT) من خطوة ما بعد التدريب الخفيفة إلى مرحلة مكثفة في حسابات الحوسبة تُوازي في حجمها التدريب المتوسط، أصبحت كفاءة البيانات أمرًا بالغ الأهمية لمحاذاة النماذج اللغوية الكبيرة (LLMs) ضمن ميزانيات محدودة. تعاني الطرق الحالية لاستبعاد البيانات من تصميم مُجزأ: فهي تعمل إما على مستوى العينات أو على مستوى الرموز (tokens) بشكل منفصل، دون التمكن من تحسين كلا البعدين معًا. يؤدي هذا الفصل إلى كفاءة منخفضة بشكل كبير، إذ قد تحتوي العينات ذات القيمة العالية ما زالت على رموز متكررة، بينما يميل استبعاد الرموز على المستوى الفردي إلى التخلص من إشارات تعليمية أو تصحيحية حاسمة مُضمنة في أمثلة فردية. لمعالجة هذه العقبة، نقدم إطارًا تشخيصيًا يُعرف بـ "مخطط الخطأ-الغموض (EU Plane)"، الذي يُوصِف بشكل موحد الفائدة المتنوعة للبيانات التدريبية عبر العينات والرموز. وبناءً على هذه الرؤية، نقترح إطارًا موحدًا يُسمى "التدريب حسب الربع (Q-Tuning)"، والذي يُنسِّق استراتيجيًا بين استبعاد العينات واستبعاد الرموز. يعتمد Q-Tuning على استراتيجية مزدوجة: أولاً، يُجري تصنيفًا على مستوى العينات لحفظ الأمثلة الغنية بخرافات مفيدة أو إشارات معايرة؛ ثانيًا، يطبّق سياسة استبعاد غير متماثلة للرموز، باستخدام آلية تقييم واعية بالسياق لحذف الرموز الأقل بروزًا فقط من العينات التي تحتوي على خرافات، مع الحفاظ على عينات المعايرة بكاملها دون تعديل. تُسجِّل طريقة العمل هذه أفضل أداء مُسجَّل على خمسة معايير متنوعة. وبشكل لافت، حقق Q-Tuning تحسنًا متوسطًا بنسبة +38% مقارنةً بالقاعدة المبنية على البيانات الكاملة في تدريب SFT، وذلك باستخدام فقط 12.5% من بيانات التدريب الأصلية على نموذج SmolLM2-1.7B. وبكونه أول نهج ديناميكي يُفوق باستمرار أداء التدريب على البيانات الكاملة، يقدّم Q-Tuning نموذجًا عمليًا وقابلًا للتوسع لتعظيم استغلال البيانات في تدريب SFT للنماذج اللغوية الكبيرة ضمن موارد محدودة.