الملخص

نُقدِّم نموذج EmbeddingGemma، وهو نموذج مُدمَج نصّي خفيف الوزن ومفتوح المصدر، مبنيّ على عائلة نماذج اللغة Gemma 3. يعتمد نهجنا التدريبي المبتكر على استخلاص المعرفة من النماذج الأكبر من خلال تهيئة المُشفّر-المُفكّك (encoder-decoder initialization) وتقنيّة التبديل التماثلي للتمثيل (geometric embedding distillation). ونعزز من مرونة النموذج وقابليته التعبيرية باستخدام منظم مُنتَشِر (spread-out regularizer)، ونضمن عامّيّته من خلال دمج نقاط التفريغ (checkpoints) من مزيج متنوع ومُحسَّن. وقد أظهر EmbeddingGemma (300M) نتائج مُتفوّقة على مستوى العالم عند تقييمه على معيار التمثيل النصّي الضخم (MTEB) في مجالات متعددة اللغات، والإنجليزية، والكود البرمجي. وبشكل لافت، يتفوّق على النماذج الرائدة السابقة، سواء كانت مُلكًا خاصًا أو مفتوحة المصدر، رغم امتلاكه لعدد من المعاملات أقل من 500 مليون، ويقدّم أداءً يُقاس بموازاة النماذج التي تبلغ حجمها ضعف حجمه، ما يُقدّم نسبة أداء إلى تكلفة استثنائية. ويبقى هذا التفوّق مُتَمَسِّكًا حتى عند كمّية التجزئة (quantization) للوزن أو تقطيع مخرجات التمثيل. ما يجعل EmbeddingGemma ملائمًا بشكل خاص للتطبيقات ذات التأخير المنخفض والكفاءة العالية في المعالجة، مثل التطبيقات المُدمَجة داخل الأجهزة. ونقدّم دراسات تحليلية (ablation studies) لاستكشاف الخيارات التصميمية الرئيسية لدينا. ونُطلِق EmbeddingGemma للمجتمع العلمي لتشجيع أبحاث مستقبلية متقدمة.