التمثيلات المرتبة للصور واللغة

يمكن اعتبار التعميم (hypernymy) والاستدلال النصي (textual entailment) ووصف الصور (image captioning) حالات خاصة من هرم بصري-دلالاتي واحد يغطي الكلمات والجمل والصور. في هذا البحث، ندعو إلى نمذجة بنية الترتيب الجزئي لهذا الهرم بشكل صريح. لتحقيق هذا الهدف، نقدم طريقة عامة لتعلم التمثيلات المرتبة، ونوضح كيف يمكن تطبيقها على مجموعة متنوعة من المهام التي تتضمن الصور واللغة. نظهر أن التمثيلات الناتجة تحسن الأداء مقارنة بالطرق الحالية في توقع التعميم واسترجاع الصور-الوصف.