HyperAIHyperAI

Command Palette

Search for a command to run...

تقنية AutoThink تحسن أداء نماذج المعالجة اللغوية المحلية بنسبة 43% باستخدام التعلم التكيفي لتوزيع الموارد الحاسوبية

تم تطوير تقنية جديدة تُعرف باسم AutoThink، وهي تهدف إلى تحسين كفاءة الأداء لمُنظِّمات اللغات المحلية (Local Language Models) من خلال تخصيص الموارد الحاسوبية بناءً على تعقيد الاستفسارات بشكل مرن. بدلاً من منح كل استفسار نفس وقت "التفكير"، يتم تصنيف الاستفسارات إلى فئتين: عالية التعقيد وقليلة التعقيد، ثم يتم توزيع وحدات التفكير (Thinking Tokens) وفقاً لهذا التصنيف. الاستفسارات المعقدة تحصل على نسبة تتراوح بين 70% إلى 90% من الوحدات، بينما الاستفسارات البسيطة تحصل على نسبة تتراوح بين 20% إلى 40%. بالإضافة إلى ذلك، تم تنفيذ ما يُعرف بـ "متجهات التوجيه" المستمدة من خوارزمية البحث عن الرموز المحورية (Pivotal Token Search)، وهي طريقة تم تقديمها أول مرة في ورقة بحث Microsoft's Phi-4. هذه المتجهات تُوجه أنماط التفكير للنموذج أثناء التوليد، وتحفزه على السلوك الدقيق عددياً، الذاتي التصحيح، والاستكشاف المُفصل. النتائج التي تم الحصول عليها باستخدام نموذج DeepSeek-R1-Distill-Qwen-1.5B تظهر تحسينات ملحوظة: - في اختبار GPQA-Diamond: حققت نسبة 31.06% مقارنة بنسبة 21.72% في الأساس (Baseline)، مما يمثل تحسيناً نسبياً بنسبة 43%. - في اختبار MMLU-Pro: حققت نسبة 26.38% مقارنة بنسبة 25.58% في الأساس. - استخدمت عددًا أقل من الوحدات مقارنة بطرق الأساس. هذه التقنية تتوافق مع أي نموذج تفكير محلي، سواء كان DeepSeek أو Qwen أو نماذج مخصصة تم تدريبها بدقة، ولا تعتمد على أي واجهة برمجة تطبيقات (API). تقنية AutoThink تستند إلى اثنين من العناصر التي تم تطويرها: 1. إطار تصنيف تكيفي يمكنه التعلم وتقبل فئات تعقيد جديدة دون الحاجة إلى إعادة التدريب. 2. تنفيذ مفتوح المصدر لخوارزمية البحث عن الرموز المحورية (Pivotal Token Search). يمكن الوصول إلى الورقة الفنية عبر الرابط التالي: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5253327 كما يمكن العثور على الكود وال أمثلة عبر الرابط التالي: https://github.com/codelion/optillm/tree/main/optillm/autothink وتنفيذ خوارزمية PTS عبر الرابط التالي: https://github.com/codelion/pts أنا مهتم بمعرفة آرائكم حول تخصيص الموارد التكيفي للتفكير الاصطناعي. هل جربتم نهجًا مشابهًا مع نماذجكم المحلية؟

الروابط ذات الصلة

تقنية AutoThink تحسن أداء نماذج المعالجة اللغوية المحلية بنسبة 43% باستخدام التعلم التكيفي لتوزيع الموارد الحاسوبية | القصص الشائعة | HyperAI