الملخص

توجد مصدرين رئيسيين لبيانات التدريب في النماذج اللغوية الحديثة بعد التدريب: بيانات مباشرة (بيانات ناتجة عن عمليات توليد النماذج)، وبيانات غير مباشرة (بيانات توضيحية من البشر أو من نماذج أخرى). وعادةً ما تُستخدم هذه النوعيتين من البيانات على التوالي في النهج مثل التعلم بالتعزيز (RL) والضبط المراقب (SFT). في هذه الورقة، نُظهر أن هذه النهج ليست متناقضة، بل تمثل حالات مختلفة لعملية تحسين واحدة. ونُشتق مُقدّرًا موحدًا لـ "متجه السياسة"، ونقدّم حسابات لطيف واسع من النهج بعد التدريب باعتبارها مشتقة لهدف مشترك تحت افتراضات مختلفة لتوزيع البيانات، ومع توازنات متفاوتة بين التحيّز والانحراف. ويُبنى مُقدّر المتجه على أربعة أجزاء قابلة للتبديل: قناع التثبيت، المقام المُعتمد على السياسة المرجعية، تقدير الميزة، ومشتقة الاحتمال. مستوحى من نتائجنا النظرية، نقترح خوارزمية التدريب الهجين بعد التدريب (HPT)، التي تختار ديناميكيًا إشارات تدريب مختلفة. صُمّمت HPT لتحقيق استغلال فعّال للبيانات التوضيحية واستكشاف مستقر دون التضحية بالأنماط المُكتسبة للتفكير المنطقي. ونقدّم تجارب واسعة ودراسات إزالة تأثيرات لتأكيد فعالية إطارنا النظري الموحّد وHPT. وقد أظهرت النتائج تفوق HPT المستمر على النماذج القوية في ستة معايير لاستدلال رياضي، ونُسخ مُختلفة من النماذج، بالإضافة إلى حلين خارج نطاق التوزيع.