تقييم جودة الصورة بدون مرجع باستخدام المحولات، والتصنيف النسبي، والاتساق الذاتي

الهدف من تقييم جودة الصورة بدون مرجع (NR-IQA) هو تقدير جودة الصورة من منظور إدراكي وفقًا للتقييمات الذاتية، وهو مشكلة معقدة وغير محلولة تمامًا نظرًا لغياب الصورة المرجعية الأصلية. في هذا البحث، نقترح نموذجًا جديدًا لمعالجة مهمة تقييم جودة الصورة بدون مرجع من خلال استخدام نهج هجين يستفيد من الشبكات العصبية التلافيفية (CNNs) والآلية الذاتية الانتباه في نماذج Transformers لاستخراج الخصائص المحلية وغير المحلية من الصورة المدخلة. نقوم باستخلاص معلومات البنية المحلية للصورة باستخدام الشبكات العصبية التلافيفية، ثم لتجاوز التحيز المحلي الناتج عن الخصائص المستخرجة من الشبكات التلافيفية والحصول على تمثيل غير محلي للصورة، نستخدم نماذج Transformers على هذه الخصائص، حيث نُعاملها كمدخل تسلسلي للنموذج. علاوةً على ذلك، لتحسين الارتباط التصاعدي بين الدرجات الذاتية والهدفية، نستخدم معلومات المسافة النسبية بين الصور داخل كل دفعة، ونفرض الترتيب النسبي بينها. وأخيرًا، لاحظنا أن أداء نماذج NR-IQA ينخفض عند تطبيق تحويلات متماثلة (مثل التحويل الأفقي) على المدخلات. لذلك، نقترح طريقة تعتمد على التماسك الذاتي كمصدر للإشراف الذاتي لتحسين مقاومة نماذج NR-IQA. وبشكل محدد، نفرض التماسك الذاتي بين نواتج نموذج تقييم الجودة لكل صورة وصورتها المحوّلة (بالانعكاس الأفقي) للاستفادة من المعلومات الغنية بالإشراف الذاتي وتقليل عدم اليقين في النموذج. ولإثبات فعالية عملنا، قمنا بتقييمه على سبعة مجموعات بيانات قياسية لتقييم جودة الصور (سواء صناعية أو حقيقية)، وأظهرنا أن نموذجنا يحقق نتائج رائدة على مجموعة متنوعة من المجموعات.