تقييم الترميزات الناتجة لتصنيف الصور بدقة عالية

قد تقدم تصنيف الصور بشكل كبير في السنوات الأخيرة بفضل توفر مجموعات صور على نطاق واسع. ومع ذلك، لا يزال التصنيف الدقيق يشكل تحديًا رئيسيًا بسبب تكلفة إضافة التعليقات التوضيحية لعدد كبير من الفئات الدقيقة. يظهر هذا المشروع أنه يمكن تحقيق أداء تصنيف مقنع لهذه الفئات حتى بدون بيانات تدريب مصنفة. بالاعتماد على تمثيلات الصور والفئات، نتعلم دالة توافق بحيث يتم تعيين درجة أعلى للتمثيلات المتطابقة مقارنة بالتمثيلات غير المتطابقة؛ ويتم تصنيف الصورة دون الرصد عن طريق العثور على التسمية التي تعطي أعلى درجة توافق مشتركة. نستخدم خصائص الصور الأكثر تقدمًا ونركز على سمات مختلفة مراقبة وغير مراقبة، سواء كانت مستخرجة من الهرميات أو تم تعلمها من كوربوس النصوص غير المصنفة. نثبت وجود تحسين كبير على الحالة المتقدمة الحالية في مجموعتي بيانات "الحيوانات مع السمات" (Animals with Attributes) و "طيور كالتك-يو سي أس دي" (Caltech-UCSD Birds). وبشكل أكثر تشجيعًا، نوضح أن التمثيلات النهائية الخالصة غير المراقبة (المتعلمة من ويكيبيديا وتحسينها باستخدام النصوص الدقيقة) تحقق نتائج مقنعة، بل وتتفوق حتى على الحالة المتقدمة السابقة المراقبة. من خلال الجمع بين مختلف التمثيلات النهائية، نحسن النتائج بشكل أكبر.