نماذج التضمين (Embedding Vector) هي نماذج تقوم بتحويل المعلومات المنفصلة أو عالية الأبعاد—مثل الكلمات، والجمل، والوثائق، والصور، والصوت، والأكواد البرمجية—إلى متجهات مستمرة، مما يتيح تقريب أوجه التشابه الدلالية أو السمات في بعض المهام من خلال مسافات المتجهات. تخفف هذه النماذج من مشكلة تمثيل العلاقات التشابهية بشكل مباشر في التمثيلات الرمزية البحتة: ففي الترميز أحادي البعد (One-hot encoding)، تكون المسافة بين متجهات الفئات المختلفة متساوية، ولا يمكن للنموذج الاعتماد على هذا الترميز وحده للإشارة إلى أن "القط" و"الكلب" عادةً ما يكونان أكثر تشابهًا من "القط" و"السيارة".

شهد هذا المسار التقني تطورًا من الأساليب الإحصائية إلى التعلم العميق. اعتمدت الأساليب المبكرة على إحصاءات تكرار الكلمات مثل TF-IDF، وتحليل الدلالات الكامن (LSA) الذي يعتمد على اختزال الأبعاد باستخدام مصفوفات التشارك بين الكلمات والوثائق؛ وفي عام 2013، اقترح Mikolov وزملاؤه في ورقة بحثية بعنوان 《Efficient Estimation of Word Representations in Vector Space》 (arXiv:1301.3781) استخدام شبكتين سطحيين هما كيس الكلمات المستمر (CBOW) ونموذج القفز على الكلمات (Skip-gram) لتعلم متجهات الكلمات في أقل من يوم واحد على مجموعة بيانات مكونة من 1.6 مليار كلمة، وأظهروا العلاقات الدلالية في فضاء المتجهات (مثل عمليات القياس التناظري)، مما دفع بأساليب التضمين لتصبح معيارًا أساسيًا في معالجة اللغة الطبيعية.

مع ظهور محولات الانتباه (Transformer) والتدريب المسبق على نطاق واسع، توسعت التضمينات من الكلمات لتشمل الجمل، والوثائق، والصور، والوسائط المتعددة: حيث يقوم المُرمّز بضغط النص الكامل في متجه واحد، ويسمح التعلم التبايني بتقريب العينات المتشابهة ودفع العينات غير المتشابهة بعيدًا. عادةً ما تتراوح أبعاد المتجه من بضع مئات إلى بضعة آلاف؛ فزيادة الأبعاد قد تزيد من سعة التمثيل، لكنها لا تضمن بالضرورة تحسين أداء المهام اللاحقة، وغالبًا ما تزيد من تكاليف التخزين والاسترجاع؛ وفي التقييم، تُستخدم معايير شاملة للمهام المتعددة مثل MTEB. اليوم، تدعم نماذج التضمين البحث الدلالي، وأنظمة التوصية، والتجميع وإزالة التكرارات، والاسترجاع عبر الوسائط المتعددة، والتوليد المعزز بالاسترجاع (RAG)، مما يجعلها مكونًا أساسيًا لا غنى عنه في تطبيقات النماذج الكبيرة.