السرد البصري من خلال توقع تضمينات الكلمات المرجعية في القصص

نُقدّم نموذجًا تعلّميًا لمهمة سرد القصص البصرية. الفكرة الأساسية تكمن في توقع مُدمجات الكلمات المرجعية من الصور، واستخدام هذه المدمجات مع ميزات الصور معًا لتوليد جمل سردية. نستخدم مُدمجات الأسماء المُستمدة عشوائيًا من القصص الحقيقية (المرجعية) كمُدمجات كلمات مرجعية مستهدفة لتدريب نموذج التوقع. لسرد تسلسل من الصور، نستخدم مُدمجات الكلمات المرجعية المُتوقعة مع ميزات الصور كمدخل مشترك لنموذج التسلسل إلى تسلسل (seq2seq). على عكس الطرق المتطورة حديثًا، يتميّز النموذج المقترح ببساطة تصميمه، وسهولة تحسينه، ويحقق أفضل النتائج في معظم مقاييس التقييم التلقائي. كما أظهرت تقييمات البشر تفوق هذه الطريقة على الطرق المنافسة.