UniMSE: نحو تحليل مشاعر متعددة الوسائط موحد وتقدير المشاعر

تحليل المشاعر متعدد الوسائط (MSA) وتحديد المشاعر في المحادثة (ERC) يُعدان من المواضيع البحثية الأساسية التي تهدف إلى تمكين الحواسيب من فهم السلوك البشري. من منظور نفسي، تُعدّ المشاعر تعبيرًا عن الحالة العاطفية أو الشعور خلال فترة قصيرة، بينما تتشكل المشاعر (Sentiments) وتُحتفظ بها لفترة أطول. ومع ذلك، فإن معظم الدراسات الحالية تُعالج المشاعر والمشاعر العاطفية بشكل منفصل، ولا تستغل بالكامل المعرفة المكملة الكامنة وراء هذين المفهومين. في هذا البحث، نقترح إطارًا جديدًا يُعرف بـ (UniMSE) يُوحد مهام تحليل المشاعر متعدد الوسائط وتحديد المشاعر في المحادثة من حيث الميزات، والعلامات، والنموذج. نُجري دمجًا بين الوسائط على مستويي التركيب اللغوي (التركيب النحوي) والمعنى، كما نُقدّم تعلمًا تباينيًا بين الوسائط والعينات، بهدف تحسين التقاط الفروق والتماسك بين المشاعر والمشاعر العاطفية. أظهرت التجارب على أربع مجموعات بيانات معيارية شهيرة (MOSI، MOSEI، MELD، IEMOCAP) فعالية الطريقة المقترحة، وحققت تحسينات متسقة مقارنة بالأساليب الرائدة في المجال.