HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 4 أشهر

نقطة، قطعة، وحساب: إطار عام للعد الكائنات

{Hongming Shan Junping Zhang Yi Zhang Mingliang Dai Zhizhong Huang}

نقطة، قطعة، وحساب: إطار عام للعد الكائنات

الملخص

تهدف الحسابات الكائنية غير المتميزة للصف (Class-agnostic object counting) إلى عد جميع الكائنات في صورة بناءً على مربعات أمثلة أو أسماء فئات، ويُعرف هذا المفهوم أيضًا بالحساب القائم على عدد قليل من الأمثلة (few-shot) أو الحساب بدون أمثلة (zero-shot). في هذا البحث، نقترح إطارًا عامًا لحساب الكائنات في كلا الحالتين (القليل من الأمثلة والصفرية) مبنيًا على الكشف عن الكائنات. ويجمع هذا الإطار المزايا الفائقة لنموذجين أساسيين دون التضحية بقدرتها على العمل في البيئات الصفرية: (أ) نموذج SAM لتقسيم جميع الكائنات الممكنة كمقترحات قناع (mask proposals)، و(ب) نموذج CLIP لتصنيف هذه المقترحات والحصول على عد دقيق للكائنات. ومع ذلك، فإن هذه الاستراتيجية تواجه عقبتين رئيسيتين: التكلفة العالية في الأداء (الكفاءة) والكائنات الصغيرة المزدحمة التي لا يمكن تحديد موقعها أو التمييز بينها. ولحل هذه المشكلات، يعتمد إطارنا المسمى PseCo على ثلاث خطوات: التحديد بنقطة، والتقسيم، والعد. بشكل محدد، نقترح أولًا طريقة لتحديد الكائنات غير المتميزة للصف، تُوفر دعائم نقطية دقيقة ولكنها محدودة لنموذج SAM، مما يقلل من تكاليف الحساب ويعزز من تجنب فقدان الكائنات الصغيرة. علاوة على ذلك، نقترح طريقة تصنيف كائنات عامة تستخدم تمثيلات الصورة والنص من نموذج CLIP كمُصنّف، مع اعتماد عملية استخلاص المعرفة الهرمية (hierarchical knowledge distillation) للحصول على تصنيفات تمييزية بين المقترحات القناعية الهرمية. وأظهرت النتائج التجريبية الواسعة على مجموعات بيانات FSC-147 وCOCO وLVIS أن PseCo يحقق أداءً متفوقًا على المستوى الحالي (state-of-the-art) في حساب الكائنات (في حالات القليل من الأمثلة والصفرية) والكشف عن الكائنات.

المعايير القياسية

معيار قياسيالمنهجيةالمقاييس
few-shot-object-counting-and-detection-onPSECO
AP(test): 42.98
AP50(test): 73.33
MAE(test): 13.05
RMSE(test): 112.86

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
نقطة، قطعة، وحساب: إطار عام للعد الكائنات | الأوراق البحثية | HyperAI