مفردات مخصصة تخفض تكلفة استدلال النماذج اللغوية الصغيرة 77%

في معاينة مبكرة لورقة بحثية مرتقبة، كشفت شركة دارما إيه آي عن طريقة جديدة باسم فيوكس إكس لتحسين مفردات نماذج اللغة الصغيرة المتخصصة، بما يخفض تكلفة الاستدلال الفعلي بنسبة 77 بالمئة في تطبيق مؤتمت لتصحيح المقالات باللغة البرتغالية مبني على نموذج كوين 3-4بي. وقالت الشركة إن المفردات الأصلية، التي تُبنى عادة لتكون عامة ومتعددة اللغات، تصبح عند التخصيص في مهمة واحدة مصدرا لتفكيك النصوص إلى مقاطع صغيرة كثيرة، ولإبقاء عشرات الآلاف من المدخلات النادرة، ما يرفع زمن توليد الإجابات لأن مرحلة فك التشفير محدودة بالوصول إلى الذاكرة أكثر من ارتباطها بالقوة الحسابية. اعتمدت المعالجات السابقة للمفردات على اختيار الرموز وفق تكرارها، لكن فيوكس إكس تختار المفردات وفق التكلفة الفعلية لكل ترميز في الحقل الذي يظهر فيه، سواء في التعليمات أو الرسالة أو الإجابة. وتستفيد من أن ترميز الناتج أغلى من ترميز الإدخال، إذ بلغ في التطبيق المقيس أن ترميز الإجابة يعادل 7.4 مرة تكلفة ترميز الإدخال. كما تعمل الطريقة على مستويين معا: إعادة تقسيم الكلمات داخل النطاق، وإدخال رموز كلية للتسلسلات المتكررة مثل أغطية جيسون والعبارات المعيارية، مع تقدير إحصائي للفائدة الإضافية لكل مرشح حتى لا تُهمل الكلمات النادرة في العينة. في الاختبار، قورنت سبع نسخ من المصحح الآلي بنفس النموذج الأساسي والبيانات ومعايير التدريب والبذرة، مع اختلاف المكون المفرداتي فقط. وشغلت النسخ على 500 طلب ضمن بيئة اختبار واحدة تستخدم بطاقة رسومية 5090 وخادم استدلال في إل إم. ووفق القياس، انخفض متوسط طول رد النموذج من 350 ترميزا إلى 101 ترميز، وتراجعت تكلفة الاستدلال بنسبة 77 بالمئة، بينما ارتفعت جودة التصحيح من 0.703 إلى 0.810. وقلصت المفردات الناتجة من نحو 152 ألف صف إلى نحو 65 ألف صف. وكشفت التجربة عن درس تصميمي مهم: دمج الدرجة داخل رمز جيسون واحد وفر ضغطا إضافيا، لكنه خفض الجودة إلى 0.689، لأن الدرجة تمثّل القرار الذي يُنشأ النموذج من أجله. أما ترك الدرجة كترميز مستقل فقد زاد ترميزين فقط، ورفع الجودة وخفض التكلفة أكثر. واختبرت الشركة الطريقة على خمسة مجالات عامة وثلاث عائلات نماذج، فتفوقت في جميع المقارنات على أساليب مرجعية، بهوامش تراوحت بين 1.2 و9.3 نقطة في الضغط، وحققت وفرا أكبر في التكلفة المقدرة للاستدلال. ويرى الفريق أن التخصيص لا يبدأ حتما من البيانات والأوزان، بل قد يبدأ من طبقة أعمق هي المفردات. وتؤكد النتائج أن إعادة هيكلة المفردات لتكلفة الاستخدام قد تخفض الإنفاق التشغيلي دون تغيير النموذج الأساسي أو مجموعة التدريب، بشرط الحفاظ على الرموز التي تحمل القرارات الجوهرية.