نماذج التضمين هي فئة من نماذج التعلم الآلي تُستخدم لتحويل المعلومات المنفصلة إلى تمثيلات متجهة متصلة. هدفها الأساسي هو ربط البيانات عالية الأبعاد، مثل النصوص والصور والصوت والبرمجيات، بفضاء متجهي منخفض الأبعاد وكثيف، مما يُمكّن الحواسيب من قياس العلاقات الدلالية بين البيانات من خلال المسافة بين المتجهات. على عكس طرق المطابقة التقليدية القائمة على الكلمات المفتاحية، تستطيع نماذج التضمين تعلم السمات الكامنة في البيانات، مما يجعل البيانات ذات المعاني أو العلاقات الهيكلية المتشابهة أقرب إلى بعضها في الفضاء المتجهي.

تطورت تقنية التضمين من الأساليب الإحصائية التقليدية إلى تعلم تمثيل الكلمات باستخدام التعلم العميق. اعتمدت أساليب تمثيل الكلمات المبكرة بشكل أساسي على الأساليب الإحصائية، مثل TF-IDF القائم على إحصاءات تردد الكلمات، وتحليل الدلالات الكامنة (LSA) القائم على مصفوفات التواجد المشترك للكلمات والمستندات لتقليل الأبعاد. في عام 2013، نشر باحثو جوجل توماس ميكولوف وآخرون ورقة بحثية... التقدير الفعال لتمثيلات الكلمات في الفضاء المتجهي تقترح هذه الورقة البحثية طريقة Word2Vec، التي تتعلم تمثيلات موزعة للكلمات باستخدام بنيتين للشبكات العصبية: Skip-gram وCBOW. يتيح ذلك ربط الكلمات بفضاء متجهي متصل، ويُظهر العلاقات الدلالية بين متجهات الكلمات. وقد أسهم هذا العمل في تطوير أساليب تضمين الشبكات العصبية في مجال معالجة اللغات الطبيعية.

مع تطور التعلم العميق والنماذج المدربة مسبقًا على نطاق واسع، توسعت نماذج التضمين تدريجيًا من تمثيل الكلمات المفردة إلى تمثيل الجمل والوثائق والصور والصوت والبيانات متعددة الوسائط. تستخدم نماذج التضمين الحديثة عادةً بنى الشبكات العصبية مثل Transformer، وتكتسب قدرات تمثيل دلالي أغنى من خلال التدريب على نطاق واسع من البيانات. وتُستخدم على نطاق واسع في مهام مثل البحث الدلالي، وأنظمة التوصية، واسترجاع المعلومات، وبناء قواعد المعرفة، ومطابقة الصور، والتوليد المعزز بالاسترجاع (RAG).

تُعالج نماذج التضمين بشكل أساسي تحدي أساليب التمثيل الرمزي التقليدية في التعبير عن العلاقات الدلالية. فمن خلال تحويل البيانات إلى فضاء متجهي موحد، تستطيع أنظمة التعلم الآلي اكتشاف الروابط بين البيانات بناءً على تشابه المتجهات، مما يُعزز قدرتها على استرجاع المعلومات غير المهيكلة وتصنيفها وفهمها. وقد أصبحت نماذج التضمين حاليًا عنصرًا أساسيًا في أنظمة الذكاء الاصطناعي الحديثة، حيث تُوفر دعمًا بالغ الأهمية لتطبيقات نماذج اللغة واسعة النطاق، والبحث الذكي، والذكاء الاصطناعي متعدد الوسائط.