HyperAIHyperAI

Command Palette

Search for a command to run...

سافاري: متحول تتابعي متكيف للتقسيم الضعيف الإشراف على التعبيرات المرجعية

Sayan Nag extsuperscript1,2 extsuperscript* Koustava Goswami extsuperscript2 Srikrishna Karanam extsuperscript2

الملخص

يهدف تقسيم التعبير المرجعي (Referring Expression Segmentation - RES) إلى توفير قناع تقسيم لل obeject الهدف في صورة يشير إليها النص (أي، التعبير المرجعي). تتطلب الأساليب الحالية ملاحظات على نطاق واسع للقناع. بالإضافة إلى ذلك، لا تعمم هذه الأساليب بشكل جيد على السيناريوهات غير المألوفة/التصورات الصفرية. لمعالجة القضايا المذكورة أعلاه، نقترح هندسة تدريبية ذات إشراف ضعيف مع العديد من الابتكارات الخوارزمية الجديدة. حسب علمنا، فإن اقتراحنا هو أول نهج يعتبر فقط جزءًا صغيرًا من ملاحظات القناع والصندوق (كما هو موضح في الشكل 1 وجدول 1) للتدريب. لتمكين التدريب المبدئي للنماذج في مثل هذه البيئات ذات الملاحظات المنخفضة، تحسين التناظر بين الصورة والنص على مستوى المنطقة، وتعزيز تحديد موقع الكائن الهدف في الصورة بشكل أفضل، نقترح وحدة الاندماج متعدد الوسائط مع توافق الانتباه (Cross-modal Fusion with Attention Consistency). بالنسبة لتسمية العينات غير المصنفة تلقائيًا، نقدم روتين تنقية صحة القناع الجديد المستند إلى طريقة تقييم مقترحات الصفر الزمكانية (spatially aware zero-shot proposal scoring approach). تظهر التجارب الواسعة أن نموذجنا SafaRi يحقق دقة تقاطع متوسطة (mIoU) قدرها 59.31 و48.26 عند استخدام 30% فقط من الملاحظات، بالمقارنة مع دقة تقاطع متوسطة قدرها 58.93 و48.19 التي حققها النموذج ذو الإشراف الكامل SeqTR على مجموعة بيانات RefCOCO+@testA وRefCOCO+testB على التوالي. كما يتفوق SafaRi على SeqTR بنسبة 11.7% (على مجموعة بيانات RefCOCO+@testA) و19.6% (على مجموعة بيانات RefCOCO+testB) في بيئة ذات إشراف كامل ويظهر قدرات تعميم قوية في المهام غير المألوفة/التصورات الصفرية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp