توليد فقرات متنوعة ومتماسكة من الصور

توليد الفقرات من الصور، وهو مجال اكتسب شعبية مؤخرًا، يعد مهمةً مهمة لملخصات الفيديو وتحريرها ودعم ذوي الاحتياجات الخاصة. تفتقر الطرق التقليدية لتسمية الصور إلى الكفاءة في هذا الجانب، حيث أنها ليست مصممة لإنتاج وصف طويل ومفصل. بالإضافة إلى ذلك، فإن النهج البسيط المتمثل في ربط جمل قصيرة متعددة، والتي قد يتم إنشاؤها بواسطة نظام تسمية صور كلاسيكي، لا يراعي تعقيدات الفقرات: الجمل المتماسكة، الهيكل العالمي المتسق، والتنوع. لمواجهة هذه التحديات، نقترح تعزيز تقنيات توليد الفقرات بـ "متجهات التماسك" (coherence vectors)، "متجهات الموضوع العالمي" (global topic vectors)، ونمذجة الغموض الداخلي لربط الفقرات بالصور من خلال صيغة مُشفِّر أوتوماتيكي متغير (variational auto-encoder). نوضح فعالية النهج المطور على مجموعتين من البيانات، حيث يتفوق على التقنيات الرائدة الحالية في كلتا الحالتين.