Henrique Godoy

الملخص

تُقدّم هذه الورقة البحثية نموذج Extract-0، وهو نموذج لغوي يضم 7 مليارات معامل، تم تحسينه خصيصًا لاستخراج المعلومات من الوثائق، ويحقق أداءً يفوق نماذج ذات عدد معاملات يزيد عدة درجات على هذا الرقم. من خلال مزيج مبتكر يشمل توليد بيانات اصطناعية، والضبط المُوجَّه باستخدام التكيف من الرتبة المنخفضة (LoRA)، والتعلم التحسيني عبر خوارزمية التحسين النسبي للمبادئ (GRPO)، نجح Extract-0 في تحقيق متوسط مكافأة قدره 0.573 على معيار يتضمن 1000 مهمة متنوعة لاستخراج المعلومات من الوثائق، متفوقًا على نماذج GPT-4.1 (0.457)، وo3 (0.464)، وGPT-4.1-2025 (0.459). تعتمد طريقة التدريب على خط أنابيب لتوليد بيانات اصطناعية تحافظ على الذاكرة، تُنتج 280,128 مثالًا تدريبيًا من مصادر وثائق متنوعة، تليها عملية ضبط فعّالة من حيث المعلمات، حيث يتم تعديل نسبة ضئيلة جدًا من معاملات النموذج، تبلغ 0.53% فقط (أي 40.4 مليون معامل من أصل 7.66 مليار معامل). كما يُقدّم الجزء الخاص بالتعلم التحسيني دالة مكافأة مبتكرة تعتمد على التشابه الدلالي، والتي تُعالج الغموض المتأصّل في مهام استخراج المعلومات. تُظهر هذه الدراسة أن التحسين المخصص للمهمة يمكن أن يؤدي إلى نماذج تتفوق على الأنظمة العامة، مع استهلاك موارد حوسبة أقل بكثير.