HyperAIHyperAI

Command Palette

Search for a command to run...

Transformer لاستخراج النموذج الوسيط للتصنيف الدلالي بعينات قليلة

Yuanwei Liu Nian Liu Xiwen Yao Junwei Han

الملخص

يهدف التجزئة الشكلية القليلة العينات (Few-shot semantic segmentation) إلى تجزئة الكائنات المستهدفة في الصورة الاستعلامية (query) في ظل وجود عدد قليل من الصور الداعمة المُعلَّمة. سعى معظم الأبحاث السابقة إلى استخراج معلومات فئة أكثر فعالية من الصور الداعمة لتناسب الكائنات المقابلة في الصورة الاستعلامية. ومع ذلك، فقد تجاهلوا جميعًا الفجوة في معلومات الفئة بين الصور الاستعلامية والداعمة. فإذا كانت الكائنات في الصور تُظهر تباينًا داخليًا كبيرًا داخل الفئة، فإن نقل معلومات الفئة من الصور الداعمة إلى الصور الاستعلامية بشكل قسري يكون غير فعّال. لحل هذه المشكلة، نحن أول من قدم نموذجًا وسيطيًا (Intermediate Prototype) لاستخراج معلومات فئة مؤكدة من الصور الداعمة، ومعرفة فئة مُعدّلة تلقائيًا من الصورة الاستعلامية. وبشكل محدد، قمنا بتصميم نموذج استخراج النموذج الوسيطي (Intermediate Prototype Mining Transformer - IPMT) لتعلم النموذج الوسيطي بطريقة تكرارية. وفي كل طبقة من طبقات IPMT، نُمرر معلومات الكائنات من ميزات الصور الداعمة والصورة الاستعلامية إلى النموذج الوسيطي، ثم نستخدم هذا النموذج لتفعيل خريطة ميزات الصورة الاستعلامية. وبتنفيذ هذه العملية بشكل تكراري، يتم تحسين النموذج الوسيطي ومحفزات الصورة الاستعلامية تدريجيًا. في النهاية، تُستخدم الميزة النهائية للصورة الاستعلامية لإنتاج تنبؤ دقيق بتجزئة الصورة. أظهرت التجارب الواسعة على مجموعتي بيانات PASCAL-5i وCOCO-20i فعالية IPMT بشكل واضح، كما أظهرت أنه يتفوق على الطرق الرائدة السابقة بفارق كبير. يمكن الوصول إلى الكود من خلال: https://github.com/LIUYUANWEI98/IPMT


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
Transformer لاستخراج النموذج الوسيط للتصنيف الدلالي بعينات قليلة | مستندات | HyperAI