الاندماج المُعدّل باستخدام محول لتمييز العواطف اللغوية الصوتية

تهدف هذه الورقة إلى تقديم حل جديد خفيف الوزن ولكنه قوي للعملية المتعلقة باكتشاف المشاعر وتحليل المشاعر. ويدفعنا الدافع إلى اقتراح معماريتين مستندة إلى نماذج التحويل (Transformers) والتعديل (Modulation)، تدمجان المدخلات اللغوية والصوتية من مجموعة واسعة من مجموعات البيانات، بهدف التحدي، وأحيانًا التفوق، على أفضل النماذج الحالية في هذا المجال. ولإثبات كفاءة نماذجنا، قمنا بتقييم أدائها بدقة على مجموعات بيانات IEMOCAP وMOSI وMOSEI وMELD. ويمكن إعادة تجربة هذه التجارب مباشرة، كما أن الشفرة المصدرية مفتوحة بالكامل لدعم الأبحاث المستقبلية.