دمج التوجيه اللغوي في التعلم العميق المترتي القائم على الرؤية

تعلم المقاييس العميق (DML) يقترح تعلُّم فضاءات مقاييس تُشَكِّل التشابهات المعنى كمسافات في فضاء التضمين. ينبغي أن تكون هذه الفضاءات قابلة للنقل إلى فئات تتجاوز ما شوهد أثناء التدريب. بشكل شائع، تُكلف طرق DML الشبكات بحل مهام التصنيف المتناقض المُعرّفة على أساس تعيينات فئوية ثنائية. لكن هذه النُّهج تتجاهل العلاقات المعنوية الأعلى بين الفئات الفعلية، مما يؤدي إلى تضمين فضاءات التضمين المُتعلّمة بسياق معنوي غير كامل، وتمثيل غير دقيق للعلاقة المعنوية بين الفئات، ما يُؤثر سلبًا على قدرة الفضاء المقاييس المُتعلّم على التعميم. ولحل هذه المشكلة، نقترح هدفًا توجيهيًا باللغة لتعلم التشابه البصري. من خلال الاستفادة من تضمينات اللغة الخاصة بأسماء الفئات الخبيرة والوهمية، نُسَقِّط ونُعيد توجيه فضاءات التمثيل البصري المقابلة لمعاني لغوية ذات معنى، بهدف تحقيق اتساق معنوي أفضل. تُقدّم التجارب الواسعة والتحليلات التفصيلية دافعًا قويًا لنهجنا المقترح، وتبين أن التوجيه باللغة يُحدث تحسينات كبيرة ومستقلة عن النموذج في تعلم المقاييس العميق، محققة نتائج تنافسية ومتقدمة جدًا على جميع المعايير. الكود متاح على: https://github.com/ExplainableML/LanguageGuidance_for_DML.