التصنيف بدون ملاحظة باستخدام نماذج الرؤية واللغة وانتشار العلامات

قد أظهرت نماذج الرؤية واللغة (VLMs) أداءً مثيرًا للإعجاب في تصنيف الصور دون تدريب مسبق (التصنيف من الصفر)، أي التصنيف عند تقديم قائمة بأسماء الفئات فقط. في هذا البحث، نعالج حالة التصنيف من الصفر في وجود بيانات غير مصنفة. نستفيد من بنية الرسم البياني للبيانات غير المصنفة ونقدم ZLaP، وهي طريقة تعتمد على انتشار العلامات (LP) وتستخدم المسافات الجيوديسية للتصنيف. نقوم بتكييف انتشار العلامات لرسوم بيانية تحتوي على خصائص النص والصور، ونقترح أيضًا طريقة فعالة لأداء الاستدلال الاستقرائي تستند إلى الحل الثنائي وخطوة التخفيف. نجري تجارب واسعة لتقييم فعالية طريقتنا على 14 مجموعة بيانات شائعة ونظهر أن ZLaP تتفوق على الأعمال ذات الصلة الأحدث. الكود:https://github.com/vladan-stojnic/ZLaP