منذ 11 أيام
احتفظ بالاتساق: سرد القصص المعتمد على الموضوع من تدفق الصور من خلال الاتصال المتكرر بين الوكلاء المتعددين
Ruize Wang, Zhongyu Wei, Ying Cheng, Piji Li, Haijun Shan, Ji Zhang, Qi Zhang, Xuanjing Huang

الملخص
تهدف القصة البصرية إلى إنشاء فقرة سردية تلقائيًا من تسلسل من الصور. تعتمد الطرق الحالية على إنشاء وصف نصي بشكل مستقل لكل صورة، ثم تجميعها بشكل تقريبي لتكوين قصة، مما يؤدي إلى مشكلة إنتاج محتوى غير متماسك من حيث المعنى. في هذا البحث، نقترح طريقة جديدة للقصة البصرية من خلال إدخال مهمة وصف الموضوع للكشف عن السياق المعنوي العام لسلسلة الصور. ثم يتم بناء القصة بتوجيه من وصف الموضوع. ولدمج المهمتين الإنشائيتين، نقترح إطارًا تفاعليًا متعدد الوكالات، يُعامل مُنشئ وصف الموضوع ومُنشئ القصة كوكيلين، وندرّسهما معًا من خلال آلية تحديث تكرارية. وقد تم التحقق من منهجنا على مجموعة بيانات VIST، حيث أظهرت النتائج الكمية، والتحليلات التبادلية، والتقييم البشري، قدرتنا العالية على إنشاء قصص ذات جودة أعلى مقارنةً بالطرق الرائدة في المجال.