اكتشاف الفئات المعممة

في هذا البحث، نتناول إعدادًا عامًا للغاية للاعتراف بالصور، حيث يتم تقديم مجموعة من الصور المصنفة وغير المصنفة، والهدف هو تصنيف جميع الصور في المجموعة غير المصنفة. هنا، قد تأتي الصور غير المصنفة من فئات مصنفة أو من فئات جديدة. لا تستطيع طرق الاعتراف الحالية التعامل مع هذا الإعداد لأنها تقوم بعدة افتراضات مقيدة، مثل أن الحالات غير المصنفة تأتي فقط من فئات معروفة أو غير معروفة، وأن عدد الفئات غير المعروفة يكون معروفًا مسبقًا. نعالج الإعداد الأقل قيودًا ونطلق عليه اسم "اكتشاف الفئة العام" (Generalized Category Discovery)، ونتحدى جميع هذه الافتراضات. أولاً، ننشئ خطوط أساس قوية بأخذ خوارزميات الطليعة من اكتشاف الفئة الجديدة وتكييفها لهذا المهمة. ثانياً، نقترح استخدام متحولات الرؤية مع التعلم التمثيلي التضادي لهذا الإعداد العالمي. ثم، نقدم طريقة بسيطة ومعتبرة للتصنيف شبه المنظوم $k$-means لجمع البيانات غير المصنفة إلى فئات مشاهدة وغير مشاهدة تلقائيًا، مما يؤدي إلى تحسين كبير على خطوط الأساس. أخيراً، نقترح أيضًا طريقة جديدة لتقدير عدد الفئات في البيانات غير المصنفة. نقيم نهجنا بشكل شامل على مجموعات بيانات عامة للتصنيف العام للأجسام وعلى مجموعات بيانات دقيقة الجوانب، مستخدمين حزمة المقاييس الحديثة Semantic Shift Benchmark. صفحة المشروع متاحة على الرابط: https://www.robots.ox.ac.uk/~vgg/research/gcd