التشفير التلقائي لانحدار توزيع النقاط لتقييم جودة الحركة

تقييم جودة الحركة (AQA) في مقاطع الفيديو هو مهمة بصرية صعبة نظرًا لصعوبة نمذجة العلاقة بين مقاطع الفيديو ودرجات الحركة. ولذلك، تم دراسة تقييم جودة الحركة بشكل واسع في الأدبيات العلمية. تقليديًا، يتم التعامل مع تقييم جودة الحركة كمشكلة انحدار بهدف تعلم التحويلات الأساسية بين مقاطع الفيديو ودرجات الحركة. ومع ذلك، أهملت الطرق السابقة عدم اليقين في بيانات مجموعة تقييم جودة الحركة (AQA). للتعامل مع عدم اليقين العشوائي (aleatoric uncertainty)، قمنا بتطوير وحدة إضافية قابلة للتركيب والتشغيل تُعرف باسم مشفّر التوزيعات التلقائي (Distribution Auto-Encoder - DAE). تحديدًا، تقوم هذه الوحدة بتشفير مقاطع الفيديو إلى توزيعات واستخدام خدع إعادة المعلمة (reparameterization trick) المستخدمة في المشفرات التلقائية المتغيرة (Variational Auto-Encoders - VAE) لأخذ عينات من الدرجات، مما ينشئ علاقة أكثر دقة بين مقاطع الفيديو والدرجات. وفي الوقت نفسه، يتم استخدام خسارة الإمكانية (likelihood loss) لتعلم معلمات عدم اليقين. لقد أدخلنا نهج DAE الخاص بنا إلى MUSDL و CoRe. النتائج التجريبية على مجموعات البيانات العامة تظهر أن طريقتنا قد حققت أفضل الأداء الحالي على مجموعات البيانات AQA-7 و MTL-AQA و JIGSAWS. رمز البرمجيات الخاص بنا متاح على الرابط: https://github.com/InfoX-SEU/DAE-AQA.