HyperAIHyperAI

Command Palette

Search for a command to run...

MMLatch: تكامل من الأسفل إلى الأعلى لتحليل المشاعر متعددة الوسائط

Georgios Paraskevopoulos Efthymios Georgiou Alexandros Potamianos

الملخص

تعتمد النماذج الحالية في التعلم العميق لدمج البيانات متعددة الوسائط على دمج منخفض المستوى للتمثيلات الوسيطة والمتقدمة (الدمج المتأخر/الوسيط) أو على دمج المدخلات الحسية منخفضة المستوى (الدمج المبكر). وتشير النماذج المتعلقة بتمييز الإنسان إلى أهمية الدمج العلوي، حيث تؤثر التمثيلات المتقدمة على الطريقة التي تُدرك بها المدخلات الحسية، أي أن التفكير يُؤثر على الإدراك. إلا أن هذه التفاعلات العلوية لا تُمثَّل في النماذج الحالية للتعلم العميق. في هذه الدراسة، نقترح معمارية عصبية تُمكّن من التقاط التفاعلات المتقاطعة بين الوسائط على المستوى العلوي، باستخدام آلية تغذية راجعة خلال المرحلة الأمامية أثناء تدريب الشبكة. تعتمد الآلية المقترحة على استخلاص تمثيلات متقدمة لكل وسائط، ثم استخدام هذه التمثيلات لوضع قناع على المدخلات الحسية، مما يسمح للنموذج بتنفيذ قناع الميزات على المستوى العلوي. ونطبّق النموذج المقترح على مهمة التعرف على المشاعر متعددة الوسائط باستخدام مجموعة بيانات CMU-MOSEI. تُظهر النتائج تحسينات متسقة مقارنةً بنموذج MulT المعروف جيدًا، وكذلك مقارنةً بقاعدة الدمج المتأخر القوية التي طوّرناها، محققةً نتائجًا رائدة في مجالها.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp