الانتباه يُحسّن رؤية الشبكات العصبية التلافيفية: شبكة تقييم جودة الصورة الهجينة القائمة على الانتباه

يهدف خوارزمية تقييم جودة الصورة (IQA) إلى كمية الإدراك البشري لجودة الصورة. لكن من المُحزن أن تظهر انخفاضًا في الأداء عند تقييم الصور المشوهة الناتجة عن الشبكات التلافيفية المتنافسة (GAN) التي تمتلك نسيجًا واقعيًا بشكل ظاهري. في هذه الدراسة، نفترض أن هذه المشكلة تكمن في البنية الأساسية لنموذج IQA، حيث تستخدم طرق التنبؤ على مستوى اللوحة (patch-level) لوحات صور مستقلة كمدخلات لحساب الدرجات بشكل منفصل، لكنها تفتقر إلى نمذجة العلاقات المكانية بين اللوحات الصورية. لذلك، نقترح شبكة تقييم جودة صورة هجينة تعتمد على الانتباه (AHIQ) لمعالجة هذا التحدي والحصول على أداء أفضل في مهام تقييم جودة الصور المستندة إلى GAN. أولاً، نستخدم بنية ذات فرعين، يشمل فرعًا يعتمد على نموذج التحول البصري (ViT) وآخر يعتمد على شبكة عصبية تلافيفية (CNN) لاستخراج الميزات. تجمع البنية الهجينة بين المعلومات التفاعلية بين اللوحات الصورية التي يلتقطها ViT والميزات التفصيلية للنسيج المحلية التي يوفرها CNN. ولجعل الميزات من CNN السطحية أكثر تركيزًا على المناطق البصرية البارزة، نطبق تحويرًا مرنًا (deformable convolution) بمساعدة المعلومات الدلالية المستمدة من فرع ViT. وأخيرًا، نستخدم وحدة تنبؤ بالدرجات على مستوى اللوحة للحصول على الدرجة النهائية. تُظهر التجارب أن نموذجنا يتفوق على أحدث الأساليب في أربع مجموعات بيانات قياسية لتقييم جودة الصورة، كما احتل الترتيب الأول في مسار الجودة الكاملة (FR) لتحدي تقييم جودة الصورة الذهنية (NTIRE 2022).