HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 4 أشهر

تعلم الانتباه المتناظر بين الحركة والشكل للفصل البصري للجسم في الفيديو بدون تدريب مسبق

{Xiaoxing Zhang Shuo Wang Huchuan Lu Jinqing Qi Lu Zhang Shu Yang}

تعلم الانتباه المتناظر بين الحركة والشكل للفصل البصري للجسم في الفيديو بدون تدريب مسبق

الملخص

كيفية تحقيق تفاعل فعّال بين معلومات المظهر والحركة لتكيّفها مع السيناريوهات المعقدة يُعدّ مسألة أساسية في تقسيم كائنات الفيديو القائم على التدفق دون تدريب مسبق (zero-shot). في هذا البحث، نقترح شبكة تعاون متعددة الوسائط مُتَعَلِّقة بالانتباه (AMC-Net) لاستخدام معلومات المظهر والحركة بشكل متجانس. وبشكل محدد، تقوم شبكة AMC-Net بدمج المعلومات القوية من السمات متعددة الوسائط وتعزز تعاونها عبر مرحلتين. أولاً، نقترح بوابة الانتباه المشترك بين الوسائط متعددة (MCG) على فروع المُشفر الثنائي (bilateral encoder)، حيث تُستخدم دالة بوابة لصياغة درجات الانتباه المشترك لموازنة المساهمات الناتجة عن السمات متعددة الوسائط وتقليل المعلومات الزائدة والمضللة. ثم، نقترح وحدة تصحيح الحركة (MCM) التي تعتمد على آلية انتباه بصري-حركي، وتُبنى بهدف تأكيد سمات الكائنات الأمامية من خلال دمج التوافق الزماني-المكاني بين إشارات المظهر والحركة. وقد أثبتت التجارب الواسعة على ثلاث مجموعات بيانات معيارية شهيرة وصعبة أن الشبكة المقترحة تتفوّق على الطرق الحديثة الأفضل في المجال، حتى عند التدريب باستخدام كميات أقل من البيانات.

المعايير القياسية

معيار قياسيالمنهجيةالمقاييس
unsupervised-video-object-segmentation-on-10AMC-Net
F: 84.6
G: 84.6
J: 84.5
unsupervised-video-object-segmentation-on-11AMC-Net
J: 76.5
unsupervised-video-object-segmentation-on-12AMC-Net
J: 71.1

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تعلم الانتباه المتناظر بين الحركة والشكل للفصل البصري للجسم في الفيديو بدون تدريب مسبق | الأوراق البحثية | HyperAI