سرد قصص بصريّة متنوعة وذات صلة باستخدام تضمينات رسم المخطط المكاني

مشكلة توليد القصص تلقائيًا لسلسلة صور هي أن النصوص الناتجة تستخدم مفردات وتركيبات جملية عامة جدًا، ولا تتوافق مع الخصائص التوزيعية للنصوص التي يُولِّدها البشر. نعالج هذه المشكلة من خلال تقديم تمثيلات صريحة للأجسام والعلاقات بينها، وذلك باستخراج رسومات المشهد (Scene Graphs) من الصور. يُمكّن استخدام تمثيل مُضمَّن (Embedding) لرسم مشهد مُستخلص من الصورة نموذجنا من التفكير بشكل أكثر وضوحًا حول الأجسام والعلاقات بينها أثناء توليد القصة، مقارنةً بالميزات العالمية المستمدة من تصنيفات الكائنات المستخدمة في الأبحاث السابقة. ونطبق مقاييس تأخذ بعين الاعتبار تنوع الكلمات والعبارات في القصص المولدة، وكذلك الإشارة إلى السمات الصورية ذات الأهمية السردية، ونُظهر أن نهجنا يتفوّق على الأنظمة السابقة. كما تشير تجاربنا إلى أن نماذجنا تحقق نتائج تنافسية في مقاييس تعتمد على المراجع.