HyperAIHyperAI

Command Palette

Search for a command to run...

MMSFormer: متعدد الوسائط ترانسفورمر لتقسيم المواد والمعنى

Md Kaykobad Reza; Ashley Prater-Bennette; M. Salman Asif

الملخص

استغلال المعلومات عبر أنماط متنوعة معروف بأنه يعزز الأداء في مهام التقطيع متعددة الأنماط. ومع ذلك، فإن دمج المعلومات بشكل فعال من أنماط مختلفة لا يزال تحديًا بسبب الخصائص الفريدة لكل نمط. في هذا البحث، نقترح استراتيجية دمج جديدة يمكنها دمج المعلومات بشكل فعال من تركيبات مختلفة لأنماط متعددة. كما نقترح نموذجًا جديدًا باسم Multi-Modal Segmentation TransFormer (MMSFormer) يدمج الاستراتيجية المقترحة للقيام بمهام تقطيع المواد والدلالات المتعددة الأنماط. يتفوق MMSFormer على النماذج الرائدة حاليًا في ثلاثة مجموعات بيانات مختلفة. مع بدء العمل بنمط إدخال واحد فقط، يتحسن الأداء تدريجيًا عند إضافة أنماط إضافية، مما يظهر فعالية كتلة الدمج في الجمع بين المعلومات المفيدة من أنماط الإدخال المتنوعة. تُظهر دراسات الاستبعاد أن الوحدات المختلفة في كتلة الدمج ضرورية للأداء الشامل للنموذج. بالإضافة إلى ذلك، تسلط دراسات الاستبعاد الضوء أيضًا على قدرة أنماط الإدخال المختلفة على تحسين الأداء في تحديد أنواع مختلفة من المواد. سيتم توفير الكود والنماذج المدربة مسبقًا على الرابط https://github.com/csiplab/MMSFormer.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp