محاذاة الصور النصية مع الاهتمام بالجودة لتقدير جودة الصور دون اعتبار الرأي

تقييم جودة الصور بدون مرجع (NR-IQA) يركز على تصميم طرق لقياس جودة الصور بما يتماشى مع الإدراك البشري عندما يكون صورة مرجعية عالية الجودة غير متاحة. تتمثل معظم الطرق المتطورة في NR-IQA في أنها تعتمد على الآراء البشرية، أي أنها تتطلب تسميات بشرية للتدريب. يحد هذا الاعتماد من قابلية التوسع والتطبيق الواسع لهذه الطرق. لتجاوز هذه الحدود، نقترح استخدام QualiCLIP (CLIP القادر على تقييم الجودة)، وهو نهج ذاتي الإشراف لا يحتاج إلى آراء بشرية ومبني على CLIP. بشكل خاص، نقدم استراتيجية محاذاة صورة-نص قادرة على تقييم الجودة لجعل CLIP ينتج تمثيلات صورية قادرة على تقييم الجودة. نبدأ من صور نقية، ثم نقوم بتدهورها بشكل اصطناعي بمعدلات شدة متزايدة. بعد ذلك، نقوم بتدريب CLIP لتقييم هذه الصور المتدحرجة بناءً على مدى تشابهها مع النصوص المضادة المتعلقة بالجودة. وفي الوقت نفسه، نجبر CLIP على إنتاج تمثيلات متسقة للصور التي تحتوي على محتوى مشابه ومستوى تدهور واحد. أظهرت التجارب أن الطريقة المقترحة تتفوق على الطرق الموجودة التي لا تعتمد على الآراء البشرية عبر عدة مجموعات بيانات تحتوي على أنواع مختلفة من التشوهات. بالإضافة إلى ذلك، رغم عدم حاجتها إلى التسميات البشرية، حققت QualiCLIP أداءً ممتازًا مقابل الطرق المشرف عليها والتي تعتمد على الآراء البشرية في التجارب بين المجموعات البيانات، مما يدل على قدراتها العامة الاستثنائية. الرمز والموديل متاحان للعموم في https://github.com/miccunifi/QualiCLIP.