HyperAIHyperAI

Command Palette

Search for a command to run...

فهم المحادثة باستخدام الشبكات العصبية الرسومية الزمنية ذات العلاقات مع تفاعل مساعد عبر الوسائط

Cam-Van Thi Nguyen Anh-Tuan Mai The-Son Le Hai-Dang Kieu Duc-Trong Le

الملخص

تمثّل اعتراف العواطف مهمة أساسية لفهم المحادثات البشرية. وتصبح هذه المهمة أكثر تعقيدًا مع ظهور مفهوم البيانات متعددة الوسائط، مثل اللغة، والصوت، والتعبيرات الوجهية. كحل نموذجي، يتم استغلال المعلومات المتعلقة بالسياق العام والسياق المحلي للتنبؤ بلبّ العاطفة لكل جملة منفردة، أي تعبير، في المحادثة. وبشكل خاص، يمكن التقاط التمثيل العام من خلال نمذجة التفاعلات عبر الوسائط على مستوى المحادثة. في المقابل، يُستمد التمثيل المحلي غالبًا باستخدام المعلومات الزمنية للمتحدثين أو التغيرات العاطفية، وهو ما يتجاهل عوامل حيوية على مستوى التعبير. علاوة على ذلك، تأخذ معظم الطرق الحالية ميزات مدمجة من وسائط متعددة في مدخل موحد دون استغلال التمثيلات المخصصة لكل وسيلة. مستلهمين من هذه المشكلات، نقترح إطارًا جديدًا للشبكة العصبية يُدعى الشبكة العصبية الرسومية الزمنية ذات التفاعل المتعلق عبر الوسائط مع تفاعل إضافي عبر الوسائط (CORECT)، والذي يُمكّن من التقاط التفاعلات عبر الوسائط على مستوى المحادثة والاعتماديات الزمنية على مستوى التعبير بطريقة مخصصة لكل وسيلة، بهدف تحسين فهم المحادثات. وقد أظهرت التجارب الواسعة فعالية CORECT من خلال نتائجه المتميزة على مجموعتي بيانات IEMOCAP وCMU-MOSEI في مهمة التعرف على العواطف متعددة الوسائط.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp