هاging فاسيلد: إصدار SmolLM3 من Hugging Face يقدم نموذج لغوي متعدد اللغات بحجم صغير ودقة عالية في التعامل مع السياقات الطويلة
هجينج فيس تطلق سمويلم3: نموذج لغوي متعدد اللغات قادر على التعامل مع سياقات طويلة أعلنت شركة Hugging Face مؤخرًا عن إطلاق النموذج اللغوي الجديد "سموللم3" (SmolLM3)، وهو أحدث إصدار من سلسلة "سمول" الخاصة بها. يهدف هذا النموذج إلى تقديم قدرات متعددة اللغات وعمليات استدلال طويلة السياق باستخدام هيكلية مدمجة تحتوي على 3 مليارات معلمة فقط. بينما تتجاوز معظم النماذج القادرة على التعامل مع سياقات طويلة 7 مليارات معلمة، ي succeeds النموذج الجديد في تحقيق أداء يوازي أفضل النماذج (SoTA) مع عدد أقل بكثير من المعلمات، مما يجعله أكثر كفاءة من حيث التكلفة ويمكن نشره على الأجهزة ذات القيود العالية دون التضحية بالقدرات مثل استخدام الأدوات، الاستدلال ذو الخطوات المتعددة، ومرونة اللغات. نظرة عامة على سموللم3 يتميز سموللم3 بحجمه الصغير وقدرته على التعامل مع سياقات طويلة تصل إلى 128 ألف رمز. تم تدريبه على 11 تريليون رمز، مما يجعله منافسًا قويًا لنماذج مثل Mistral، LLaMA 2، وFalcon. رغم حجمه، يتمتع سموللم3 بأداء مدهش في استخدام الأدوات والاستدلال القليل الطلقات—خصائص عادة ما تتطلب نماذج أكبر بمرتين أو ثلاث. تم إطلاق سموللم3 في نسختين: 1. SmolLM3-3B-Base: نموذج أساسي يمكن استخدامه في مجموعة متنوعة من التطبيقات. 2. SmolLM3-3B-Instruct: نموذج مُدرب على تعليمات يمكنه التعامل مع مهام الاستدلال والتفاعل عبر الدردشة. كلا النسختين متاحان للعامة بموجب رخصة Apache 2.0 على منصة Hugging Face Model Hub. الخصائص الرئيسية استدلال طويل السياق (حتى 128 ألف رمز): يستخدم سموللم3 آلية انتباه معدلة للتعامل بفعالية مع سياقات طويلة تصل إلى 128 ألف رمز. هذه القدرة مهمة للغاية للمهام التي تشمل وثائق ممتدة، سجلات، أو سجلات منظمة، حيث يؤثر طول السياق بشكل مباشر على الفهم والدقة. استدلال ثنائي الوضع: يدعم النموذج المُدرب على التعليمات (SmolLM3-3B-Instruct) استدلالًا ثنائي الوضع: استدلال غير محدود: مناسب لإنشاء نصوص طويلة وعفوية. استدلال منظم: مناسب للتطبيقات التي تتطلب مهامًا محددة، مثل أنظمة استرداد المعلومات المعززة (RAG) وعمليات الوكلاء الذاتيين. قدرات متعددة اللغات: تم تدريب سموللم3 على مكتبة متعددة اللغات، مما يدعم ست لغات: الإنجليزية، الفرنسية، الإسبانية، الألمانية، الإيطالية، والبرتغالية. حقق النموذج نتائج جيدة في مقاييس مثل XQuAD وMGSM، مما يدل على قدرته على التكيف بين الحدود اللغوية مع انخفاض طفيف في الأداء. حجم صغير مع أداء عالي: يبلغ عدد معلمات سموللم3 مجرد 3 مليارات، ولكنه يحقق أداءً قريبًا أو مساويًا للأداء الذي تقدمه النماذج الأكبر مثل Mistral-7B في العديد من المهام الثانوية. هذه الكفاءة تحققت بفضل حجم البيانات التدريبية الكبير وعالية الجودة (11 تريليون رمز) والضبط المعماري الدقيق. استخدام الأدوات وتقديم الخرج المنظم: يظهر النموذج أداءً ممتازًا في مهام استدعاء الأدوات—سواء في خطوط العمل القائمة على التحفيز أو مع الخرج المنظم. يتبع بشكل صحيح قيود الإدخال والإخراج التي تقودها الجداول ويتعامل بسلاسة مع الأنظمة التي تتطلب سلوكًا حاسمًا، مثل الوكلاء الذاتيين والبيئات القائمة على الواجهات البرمجية (API). تفاصيل التدريب التقنية تم تدريب سموللم3 على خليطة داخلية تم تجميعها بواسطة Hugging Face، والتي تضم محتوى ويب عالي الجودة، الأكواد، الأوراق الأكاديمية، ومصدرات متعددة اللغات. تم تنفيذ التدريب على 11 تريليون رمز باستخدام استراتيجيات التدريب الموزعة على عدة عُقد في مجموعات من الوحدات المعالجة الرسومية (GPU)، مستخدمين تحسينات مثل Flash Attention v2 لتدريب السلاسل طويلة بفعالية. يستخدم النموذج مُقطِّع جملة (SentencePiece) بحجم 128 ألف رمز، مشتركًا بين جميع اللغات المدعومة. لدعم السياقات الطويلة، استخدمت Hugging Face آليات انتباه خطية ومجموعات تقلل من التعقيد التربيعي مع الحفاظ على الأداء. هذا مكَّن النموذج من التعامل مع سياقات تصل إلى 128 ألف رمز أثناء التدريب والاستدلال—بدون الانسدادات الذاكرة التي تواجه الترانسفورمرات الكثيفة عند هذا المستوى. تم تدريب النسخة المُدربة على التعليمات (SmolLM3-3B-Instruct) بشكل إضافي باستخدام مكتبة trlx الخاصة بـ Hugging Face لتوافقه مع تعليمات الدردشة، مهام الاستدلال، وعروض استخدام الأدوات. مقاييس الأداء يحقق سموللم3 أداءً قويًا في العديد من المقاييس المتعددة اللغات والاستدلال: - XQuAD: قياس فهم اللغة الطبيعية في سياقات متعددة اللغات. - MGSM: قياس الاستدلال متعدد الخطوات. رغم عدم تفوقه على أحدث النماذج بحجم 7 و13 مليار معلمة في كل مقاييس، يظل نسبة الأداء إلى المعلمات في سموللم3 من أعلى نسب في فئته. التطبيقات والاستخدامات يعد سموللم3 مناسبًا بشكل خاص للاستخدامات التالية: - أنظمة استرداد المعلومات المعززة (RAG): يمكنه توفير سياق طويل من المعلومات لتحسين الدقة. - عمليات الوكلاء الذاتيين: يساعد في إجراء مهام معقدة تتطلب استخدام أدوات وتقديم خرج منظم. - تطبيقات الدردشة: يدعم التفاعل الطبيعي عبر الدردشة مع المستخدمين. - تحليل السجلات والوثائق الطويلة: يوفر فهمًا دقيقًا للنصوص الطويلة ويعزز عمليات الاستدلال. الخلاصة يمثل سموللم3 جيلًا جديدًا من النماذج اللغوية الصغيرة ولكنها قادرة. جمعه بين دعم اللغات المتعددة، التعامل مع سياقات طويلة، والاستدلال القوي في هيكلية مدمجة تحتوي على 3 مليارات معلمة فقط، يعد خطوة كبيرة للأمام في كفاءة النماذج وسهولة الوصول إليها. يؤكد إعلان Hugging Face أن النماذج الصغيرة يمكنها أيضًا تقديم أداء قوي في المهام المعقدة التي كانت تحفظ تقليديًا للنماذج الأكبر بكثير. تقييم الحدث من قبل المختصين أعرب العديد من الخبراء في مجال الذكاء الاصطناعي عن إعجابهم بسموللم3، مشيرين إلى أنه يفتح أبوابًا جديدة في تطبيقات النماذج اللغوية الصغيرة. مع حجم بيانات تدريب كبير وعالية الجودة، يثبت سموللم3 أن الكفاءة والقدرات العالية يمكن تحقيقهما حتى في النماذج الصغيرة. يُعتبر هذا الإنجاز خطوة مهمة نحو تحقيق التكافؤ في الوصول إلى التكنولوجيا اللغوية المتقدمة، مما يسهل استخدامها في بيئات متنوعة وموارد محدودة. نبذة عن Hugging Face تعد Hugging Face واحدة من الشركات الرائدة في مجال النماذج اللغوية والذكاء الاصطناعي. تأسست الشركة عام 2016 وحققت تقدمًا كبيرًا في تطوير النماذج اللغوية المفتوحة المصدر، مما جعلها موردًا مهمًا للمطورين والباحثين في مختلف أنحاء العالم. تواصل Hugging Face جهودها لجعل التكنولوجيا اللغوية المتقدمة متاحة للجميع، مع التركيز على الكفاءة والتنوع اللغوي.