نماذج تقييم الجودة ذات المرجع الكامل والغير ذات المرجع المستندة إلى التعلم العميق للفيديوهات المضغوطة من نوع UGC

في هذه الورقة، نقترح إطارًا لتقدير جودة الفيديو المستند إلى التعلم العميق (VQA) لتقييم جودة مقاطع الفيديو التي يُنتجها المستخدمون (UGC) بعد ضغطها. يتكون الإطار المقترح من ثلاث وحدات: وحدة استخراج الميزات، ووحدة الانحدار الجودة، ووحدة تجميع الجودة. بالنسبة لوحدة استخراج الميزات، ندمج الميزات المستخرجة من الطبقات المتوسطة لشبكة الشبكة العصبية التلافيفية (CNN) لتكوين تمثيل ميزات نهائية يراعي الجودة، مما يمكّن النموذج من الاستفادة الكاملة من المعلومات البصرية من المستوى المنخفض إلى المستوى العالي. وبشكل خاص، نحسب تشابهات البنية والنمط للمخططات المميزة المستخرجة من جميع الطبقات المتوسطة كتمثيل مميز للنموذج المُعتمد على المرجع الكامل (FR)، بينما نحسب المتوسط العام والانحراف المعياري للرسم المميز النهائي الذي تم دمجه من خلال المخططات المميزة المتوسطة كتمثيل مميز للنموذج بدون مرجع (NR). أما بالنسبة لوحدة الانحدار الجودة، فنستخدم الطبقة المتصلة بالكامل (FC) لاستنتاج الدرجات على مستوى الإطار من الميزات المُراعية للجودة. وأخيرًا، نطبق استراتيجية تجميع زمنية مستوحاة من التقييم البشري لدمج الدرجات على مستوى الإطار إلى درجة نهائية على مستوى الفيديو. ويُظهر النموذج المقترح أفضل الأداء مقارنةً بالأنظمة المتطورة حديثًا من نماذج FR وNR على قاعدة بيانات VQA الخاصة بمقاطع UGC المضغوطة، كما يحقق أداءً جيدًا جدًا على قواعد بيانات UGC الحقيقية (in-the-wild).