الحل العالِ للفيديو في الوقت الحقيقي باستخدام الشبكات المكانية-الزمنية وتعويض الحركة

شبكات العصب المتشابكة المكانية-الزمانية مكنت من تحقيق تحسين دقة الصور الفائقة بدقة وفي الوقت الحقيقي. ومع ذلك، فإن المحاولات الحديثة للاستفادة من الارتباطات الزمانية في تحسين دقة الفيديو قد اقتصرت على هياكل بسيطة أو غير فعالة. في هذا البحث، نقدم شبكات عصب متشابكة فرعية للبكسل المكانية-الزمانية التي تستغل بشكل فعال التكرارات الزمانية وتحسن دقة الإعادة مع الحفاظ على سرعة الوقت الحقيقي. بوجه خاص، نناقش استخدام الاندماج المبكر والاندماج البطيء والتحويلات ثلاثية الأبعاد لمعالجة مشتركة لأطر الفيديو المتتابعة. كما نقترح خوارزمية جديدة مشتركة تعتمد على تعويض الحركة وتحسين دقة الفيديو، وهي أكثر كفاءة بمراحل من الأساليب المنافسة، حيث تعتمد على وحدة تحويل مكانية متعددة الدقائق تعمل بسرعة ويمكن تدريبها من البداية إلى النهاية (Spatial Transformer Module). هذه المساهمات توفر دقة أعلى وأشرطة فيديو أكثر استقرارًا زمانيًا، وهو ما نؤكد عليه بشكل نوعي وكمي. بالنسبة للنماذج ذات الإطار الواحد، يمكن للشبكات المكانية-الزمانية إما تخفيض التكلفة الحسابية بنسبة 30٪ مع الحفاظ على نفس الجودة أو توفير زيادة قدرها 0.2 ديسيبل لتكلفة حسابية مماثلة. تظهر النتائج على مجموعات البيانات المتاحة للجمهور أن الخوارزميات المقترحة تتخطى أداء التقنيات الرائدة حاليًا في كل من الدقة والكفاءة.