مُسِيق: محول جودة الصورة متعدد المقياسات

تقييم جودة الصور (IQA) يُعد موضوعًا بحثيًا مهمًا لفهم تحسين التجربة البصرية. تعتمد الطرق الحديثة المتطورة في تقييم جودة الصور على الشبكات العصبية التلافيفية (CNN). وغالبًا ما تتأثر أداء النماذج المستندة إلى CNN بقيود الشكل الثابت الناتجة عن التدريب بالدُفعات (batch training). وللتغلب على هذه المشكلة، يتم عادةً تغيير حجم الصور وإزالة أطرافها لتصبح ذات شكل ثابت، مما يؤدي إلى تدهور جودة الصورة. ولحل هذه المشكلة، قمنا بتصميم نموذج "Transformer لتقييم جودة الصور متعددة المقاييس" (MUSIQ) قادر على معالجة صور بحلّة أصلية مختلفة الأحجام والنسب الطولية العرضية. وباستخدام تمثيل متعدد المقاييس للصورة، يمكن لطرقنا اكتشاف جودة الصورة على مستويات دقة مختلفة. علاوة على ذلك، قمنا بتطوير نوع جديد من التضمين المكاني ثنائي الأبعاد المستند إلى "الهاش" (hash-based 2D spatial embedding)، إلى جانب تضمين المقياس (scale embedding)، لدعم التضمين المكاني في التمثيل متعدد المقاييس. وتوصلت النتائج التجريبية إلى أن طريقة التقييم المُقترحة تحقق أداءً متميزًا على عدة مجموعات بيانات كبيرة لتقييم جودة الصور، مثل PaQ-2-PiQ وSPAQ وKonIQ-10k.