ربط تمثيلات الكلمات العصبية بتمثيلات الصور العميقة باستخدام متجهات فيشر

في السنوات الأخيرة، أصبحت مشكلة ربط الجملة بصورة موضوعًا يحظى باهتمام كبير. ويواصل هذا العمل التقدم في تطوير الأداء المتعلق بمهمتي التسمية الصورية والبحث الصوري باستخدام الجملة. في هذا العمل، نستخدم متجه فيشر كتمثيل للجملة من خلال تجميع تمثيلات word2vec لكل كلمة في الجملة. وعادةً ما يُنظر إلى متجه فيشر على أنه التدرجات الخاصة بدلالة اللوغاريتمية للإحتمال بالنسبة إلى معاملات نموذج المزيج الغاوسي (GMM). وفي هذا البحث، نقدم نموذجين آخرين لنماذج المزيج، ونستنتج تعبيرات خوارزمية التوقع-التحديث (Expectation-Maximization) وتمثيلات متجه فيشر الخاصة بهما. الأول هو نموذج المزيج اللابلاسي (LMM)، الذي يستند إلى التوزيع اللابلاسي. والنموذج الثاني هو نموذج المزيج الهجين الغاوسي-اللابلاسي (HGLMM)، الذي يعتمد على المتوسط الهندسي الموزون للتوزيع الغاوسي والتوزيع اللابلاسي. وأخيرًا، وباستخدام متجهات فيشر الجديدة المستمدة من نماذج HGLMM لتمثيل الجمل، نحقق نتائج متقدمة على مستوى الحد الأقصى (state-of-the-art) في كلا المهمتين: التسمية الصورية والبحث الصوري باستخدام الجملة، على أربع معايير معيارية: Pascal1K، Flickr8K، Flickr30K، وCOCO.