HyperAIHyperAI

Command Palette

Search for a command to run...

نمذجة مكانية-زمنية تعاونية للتحليل التصنيفي للعارضين في الفيديو المُسْتَدْعَى باللغة

Tianrui Hui Shaofei Huang Si Liu Zihan Ding Guanbin Li Wenguan Wang Jizhong Han Fei Wang

الملخص

يهدف التجزئة البصرية للشخصية في الفيديو بناءً على الاستفسار اللغوي إلى توقع قناع المستوى البكسل للشخصية التي تؤدي الأفعال الموصوفة في الاستفسار اللغوي الطبيعي ضمن الإطارات المستهدفة. تعتمد الطرق الحالية على الشبكات العصبية التلافيفية الثلاثية الأبعاد (3D CNNs) على قطعة الفيديو كمُشفّر عام لاستخراج ميزة مختلطة فراغية-زمنية للإطار المستهدف. وعلى الرغم من أن التلافيف الثلاثية الأبعاد تُعد مناسبة لتحديد الشخصية التي تؤدي الأفعال المطلوبة، إلا أنها تُسبب بالضرورة معلومات فراغية غير متطابقة من الإطارات المجاورة، مما يؤدي إلى تشويش ميزات الإطار المستهدف وينتج عنه تجزئة غير دقيقة. لذلك، نقترح إطارًا متعاونًا يعتمد على مُشفّر-مُفكّك فراغي-زمني، يتضمن مُشفّرًا زمنيًا ثلاثي الأبعاد على قطعة الفيديو لتحديد الأفعال المطلوبة، ومُشفّرًا فراغيًا ثنائي الأبعاد على الإطار المستهدف لتمييز الشخصية المطلوبة بدقة. وفي مرحلة التفكيك، نُقدّم وحدة اختيار الميزات الموجهة باللغة (LGFS) لدمج مرن للميزات الفراغية والزمنية من المُشفّرين. كما نقترح وحدة تكييف متعددة الوسائط تلقائية (CMAM) لإعادة تجميع ديناميكي للميزات اللغوية ذات الصلة بالفراغ والزمن، لتعزيز التفاعل متعدد الوسائط في كل مرحلة من مراحل المُشفّرين. يحقق هذا الأسلوب أداءً جديدًا في مستوى الحد الأقصى (state-of-the-art) على بحثين شهيرين، مع تقليل كبير في الحمل الحسابي مقارنة بالطرق السابقة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp