ReCoNet: شبكة نقل الأسلوب الفيديوي المتماسك في الوقت الحقيقي

تُعاني نماذج نقل الأسلوب الصوري المستندة إلى الشبكات العصبية التلافيفية عادةً من عدم ثبات زمني مرتفع عند تطبيقها على مقاطع الفيديو. قد تم اقتراح بعض نماذج نقل أسلوب الفيديو لتحسين الثبات الزمني، ومع ذلك فشلت في ضمان السرعة العالية في المعالجة، وجودة الأسلوب الإدراكية الجيدة والثبات الزمني العالي في الوقت نفسه. في هذا البحث، نقترح نموذجًا جديدًا لنقل أسلوب الفيديو في الوقت الحقيقي يُسمى ReCoNet، والذي يمكنه إنتاج مقاطع فيديو ذات ثبات زمني متماسك مع الحفاظ على جودة الأسلوب الإدراكية المقبولة. تم إضافة قيد تشويه جديد على مستوى اللمعان (luminance warping constraint) إلى الخسارة الزمنية على مستوى الإخراج لالتقاط التغيرات في اللمعان بين الإطارات المتتالية وزيادة استقرار النمط تحت تأثير الإضاءة. كما اقترحنا خسارة زمنية جديدة على مستوى خرائط الميزات (feature-map-level temporal loss) لتعزيز الثبات الزمني بشكل أكبر على الكائنات القابلة للتتبع. تشير النتائج التجريبية إلى أن نموذجنا يظهر أداءً بارزًا من حيث الجودة والنوعية على حد سواء.