HyperAIHyperAI

Command Palette

Search for a command to run...

إطار عمل تعلّم متعدد الوسائط بمقاييس زمنية هجينة لتقسيم كائنات الفيديو المرجعية

Yu Qiao Xiaojun Chang Lina Yao Zhihui Li Yali Wang Mingfei Han

الملخص

يُعد التمييز الكائنات في الفيديو المرجعي (RVOS) عملية تهدف إلى فصل كائن معين من فيديو معطى بناءً على الوصف النصي لهذا الكائن. ومع ذلك، في البيئة المفتوحة، تكون وصفات الكائنات غالبًا متنوعة من حيث المحتوى ومرنة من حيث الطول. ويؤدي هذا إلى التحدي الرئيسي في RVOS، وهو أن الوصفات المختلفة للكائنات المختلفة تتوافق مع مقياس زمني مختلف داخل الفيديو، وهو ما تتجاهله معظم الأساليب الحالية التي تعتمد على خطوة واحدة فقط في أخذ العينات من الإطارات. ولحل هذه المشكلة، نقترح إطارًا بسيطًا يُسمى التعلم الهجين متعدد المقياس الزمني متعدد الوسائط (HTML)، والذي يمكنه بشكل فعّال محاذاة السمات اللغوية والبصرية لاكتشاف المعاني الأساسية للكائن في الفيديو، من خلال تعلم التفاعل متعدد الوسائط بشكل هرمي من مقاييس زمنية مختلفة. وبشكل أكثر تحديدًا، نقدّم وحدة جديدة للإدراك متعدد الوسائط عبر المقياس الزمني، حيث تتفاعل استعلامات اللغة ديناميكيًا مع السمات البصرية عبر مقاييس زمنية متعددة. وتُعد هذه الوحدة فعّالة في تقليل التباس الكائنات المعقدة من خلال نقل السياق البصري بين المقاييس المختلفة. وأخيرًا، أجرينا تجارب واسعة على معايير شائعة الاستخدام، تشمل Ref-Youtube-VOS وRef-DAVIS17 وA2D-Sentences وJHMDB-Sentences، حيث حقق إطارنا HTML أداءً من الدرجة الأولى على جميع هذه المجموعات.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp