HyperAIHyperAI

Command Palette

Search for a command to run...

PosSAM: تقسيم البانوراما لكلمات مفتوحة

Vibashan VS Shubhankar Borse Hyojin Park Debasmit Das Vishal Patel Munawar Hayat Fatih Porikli

الملخص

في هذا البحث، نقدم نموذجًا للتقسيم البانورامي المفتوح الذي يجمع بفعالية قوة نموذج تقسيم أي شيء (SAM) مع نموذج الرؤية واللغة CLIP في إطار شامل من البداية إلى النهاية. بينما يتميز SAM بقدرته على إنشاء أقنعة ذات وعي مكاني، فإن محركه التحليلي يعاني من صعوبة في التعرف على معلومات فئات الأشياء ويميل إلى التقسيم الزائد دون توجيه إضافي. تتعامل الأساليب الحالية مع هذه القصور من خلال استخدام تقنيات متعددة المراحل واستخدام نماذج منفصلة لإنتاج دوافع ذات وعي بالفئات، مثل الصناديق الحدودية أو الأقنعة الفاصلة. أما الطريقة المقترحة لدينا، PosSAM، فهي نموذج شامل من البداية إلى النهاية يستفيد من الخصائص الغنية بالموقع في SAM لإنتاج أقنعة ذات وعي بالأمثلة ويستغل خصائص CLIP التمييزية معنىً لتصنيف الأمثلة بكفاءة. بشكل خاص، نعالج قصور SAM ونقترح وحدة جمع تمييز محلي جديد (LDP) تستفيد من خصائص SAM غير المرتبطة بالفئات وخواص CLIP الواعية بالفئات للتصنيف المفتوح غير المتحيز. بالإضافة إلى ذلك، نقدم خوارزمية الجمع الاختياري الواعي بالأقنعة (MASE) التي تعزز بشكل متكيف جودة الأقنعة المنتجة وتزيد من أداء التصنيف المفتوح أثناء الاستدلال لكل صورة. أجرينا تجارب واسعة لبيان خصائص التعميم القوية لطرقنا عبر عدة مجموعات بيانات، مما حقق أفضل الأداء حتى الآن مع تحسينات كبيرة على طرق التقسيم البانورامي المفتوح الأكثر تقدمًا. في كلتا الإعداديتين COCO إلى ADE20K وADE20K إلى COCO، يتفوق PosSAM على الطرق السابقة الأكثر تقدمًا بمargins كبيرة، 2.4 PQ و4.6 PQ على التوالي. موقع المشروع: https://vibashan.github.io/possam-web/.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp