HyperAIHyperAI

Command Palette

Search for a command to run...

تحسين التكامل متعدد الوسائط باستخدام التحسين الهرمي للمعلومات المتبادلة لتحليل المشاعر متعدد الوسائط

Wei Han Hui Chen Soujanya Poria

الملخص

في تحليل المشاعر متعددة الوسائط (MSA)، يعتمد أداء النموذج بشكل كبير على جودة التمثيلات المُولَّدة (الإندبِنجز). وتُولَّد هذه التمثيلات من عملية علوية تُسمى "دمج متعدد الوسائط" (multimodal fusion)، والتي تهدف إلى استخراج البيانات الأولية الأحادية الوسائط (unimodal raw data) من المدخلات ودمجها لإنتاج تمثيل متعدد الوسائط أكثر ثراءً. في الدراسات السابقة، تم إما عكس خسارة المهمة (back-propagating the task loss) أو تعديل الخصائص الهندسية لفضاءات الميزات بهدف تحقيق نتائج دمج مُفضّلة، لكن هذه الطرق تتجاهل الحفاظ على المعلومات الحرجة المرتبطة بالمهمة التي تتدفق من المدخلات إلى نتائج الدمج. في هذا العمل، نقترح إطارًا يُسمى "مُتعدد الوسائط إنفوماكس" (MultiModal InfoMax - MMIM)، والذي يُعدّل بشكل هرمي الـ"المعلومات التبادلية" (Mutual Information - MI) بين أزواج المدخلات الأحادية الوسائط (بين الوسائط) وبين نتيجة الدمج متعدد الوسائط والمدخلات الأحادية الوسائط، بهدف الحفاظ على المعلومات المرتبطة بالمهمة خلال عملية الدمج متعدد الوسائط. ويتم تدريب هذا الإطار مع المهمة الأساسية (MSA) بشكل مشترك، بهدف تحسين أداء المهمة التالية في تحليل المشاعر متعدد الوسائط. ولمعالجة مشكلة الحدود غير القابلة للحل للـMI، نقدّم مجموعة من الطرق الحسابية البسيطة، سواء المُعامِلة (parametric) أو غير المُعامِلة (non-parametric)، لتقريب القيم الحقيقية للـMI. وقد أظهرت النتائج التجريبية على مجموعتي بيانات شائعتين فعالية نهجنا. ويجدر بالذكر أن التنفيذ العملي لهذا العمل متوفر بشكل عام عبر الرابط التالي: https://github.com/declare-lab/Multimodal-Infomax.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp