إنشاء قصة متماسكة باستخدام نماذج التشتت الكامنة ذاتية الانحدار

قد أثبتت نماذج التوهج المشروطة (conditioned diffusion models) قدرتها على تحقيق أفضل النتائج في مجال توليد الصور من النصوص. وفي الآونة الأخيرة، ركز معظم الأبحاث على توليد صور مستقلة؛ ومع ذلك، فإن التطبيقات الحقيقية تتطلب غالباً إنتاج سلسلة من الصور المتماسكة لسرد القصص. في هذا البحث، نركز بشكل أساسي على مهام تصور القصص وإكمالها ونقترح AR-LDM، وهو نموذج توهج ضمني يتم شرطه بشكل ذاتي متتابع (auto-regressively) على العناوين التاريخية والصور المُنتجة. بالإضافة إلى ذلك، يمكن لـ AR-LDM التعميم إلى شخصيات جديدة من خلال التكيف. حسب علمنا، هذه هي أول دراسة تنجح في استخدام نماذج التوهج لإنتاج قصص بصرية متماسكة. تظهر النتائج الكمية أن AR-LDM يحقق أعلى درجات FID على مجموعات البيانات PororoSV و FlintstonesSV وعلى مجموعة البيانات الجديدة والمعقدة VIST التي تحتوي على صور طبيعية. كما تؤكد التقييمات البشرية الواسعة النطاق أن AR-LDM يتميز بأداء فائق فيما يتعلق بالجودة والصلة والاستمرارية.