استكشاف CLIP لتقييم مظهر الصور وشعورها

قياس إدراك المحتوى البصري يُعد مشكلة قديمة في رؤية الحاسوب. تم تطوير العديد من النماذج الرياضية لتقييم مظهر الصورة أو جودتها. وعلى الرغم من الفعالية التي تتمتع بها هذه الأدوات في كمية التدهورات مثل الضوضاء ودرجة الضبابية، فإن هذه الكمية لا ترتبط بشكل وثيق باللغة البشرية. عندما يتعلق الأمر بالإدراك الأعلى تجاه شعور الصورة، فإن الطرق الحالية تعتمد فقط على نماذج مُدرَّبة بأسلوب مراقب (supervised)، والتي تم تدريبها صراحةً باستخدام بيانات مُعلَّمة جُمعت عبر دراسات مستخدمين مُتعبة. في هذه الورقة، نتجاوز النماذج التقليدية من خلال استكشاف المعرفة اللغوية البصرية الغنية المُدمجة في نماذج التدريب المقارن بين اللغة والصورة (CLIP) لتقييم كل من إدراك الجودة (المظهر) والإدراك المجرد (الشعور) للصور بطريقة صفرية (zero-shot). وبشكل خاص، نناقش تصاميم محفِّزات فعّالة (prompts) ونُظهر استراتيجية مزج فعّالة للتحفيز لاستغلال هذه المعرفة السابقة. كما نقدّم تجارب واسعة على مجموعات بيانات مُتحكم بها ونماذج تقييم جودة الصور (IQA). تُظهر النتائج أن نموذج CLIP يُدرك معرفة سابقة ذات معنى، وينتشر بشكل جيد عبر تقييمات إدراكية مختلفة. يُمكن الوصول إلى الكود عبر الرابط: https://github.com/IceClear/CLIP-IQA.