نقطة، قطعة، وحساب: إطار عام للعد الكائنات

تهدف الحسابات الكائنية غير المتميزة للصف (Class-agnostic object counting) إلى عد جميع الكائنات في صورة بناءً على مربعات أمثلة أو أسماء فئات، ويُعرف هذا المفهوم أيضًا بالحساب القائم على عدد قليل من الأمثلة (few-shot) أو الحساب بدون أمثلة (zero-shot). في هذا البحث، نقترح إطارًا عامًا لحساب الكائنات في كلا الحالتين (القليل من الأمثلة والصفرية) مبنيًا على الكشف عن الكائنات. ويجمع هذا الإطار المزايا الفائقة لنموذجين أساسيين دون التضحية بقدرتها على العمل في البيئات الصفرية: (أ) نموذج SAM لتقسيم جميع الكائنات الممكنة كمقترحات قناع (mask proposals)، و(ب) نموذج CLIP لتصنيف هذه المقترحات والحصول على عد دقيق للكائنات. ومع ذلك، فإن هذه الاستراتيجية تواجه عقبتين رئيسيتين: التكلفة العالية في الأداء (الكفاءة) والكائنات الصغيرة المزدحمة التي لا يمكن تحديد موقعها أو التمييز بينها. ولحل هذه المشكلات، يعتمد إطارنا المسمى PseCo على ثلاث خطوات: التحديد بنقطة، والتقسيم، والعد. بشكل محدد، نقترح أولًا طريقة لتحديد الكائنات غير المتميزة للصف، تُوفر دعائم نقطية دقيقة ولكنها محدودة لنموذج SAM، مما يقلل من تكاليف الحساب ويعزز من تجنب فقدان الكائنات الصغيرة. علاوة على ذلك، نقترح طريقة تصنيف كائنات عامة تستخدم تمثيلات الصورة والنص من نموذج CLIP كمُصنّف، مع اعتماد عملية استخلاص المعرفة الهرمية (hierarchical knowledge distillation) للحصول على تصنيفات تمييزية بين المقترحات القناعية الهرمية. وأظهرت النتائج التجريبية الواسعة على مجموعات بيانات FSC-147 وCOCO وLVIS أن PseCo يحقق أداءً متفوقًا على المستوى الحالي (state-of-the-art) في حساب الكائنات (في حالات القليل من الأمثلة والصفرية) والكشف عن الكائنات.