نمط تشفير موحد مستند إلى Transformer للإعراف العاطفي وتحليل المشاعر

يمثل فهم المشاعر والانفعالات العاطفية عاملين أساسيين في اللغة متعددة الوسائط البشرية. تقدم هذه الورقة نموذجًا مبنيًا على مُحَوِّل (Transformer) يُسمى الترميز المشترك القائم على المُحَوِّل (TBJE) لمهام التعرف على المشاعر وتحليل المشاعر. إلى جانب استخدام بنية المُحَوِّل، تعتمد طريقةنا على انتباه مشترك معياري وطبقة نظرة سريعة (glimpse layer) لترميز مشترك لواحدة أو أكثر من الوسائط. كما تم تقديم الحل المقترح للمشاركة في التحدي الكبير الثاني لعام 2020 في ACL حول اللغة متعددة الوسائط، والذي سيتم تقييمه باستخدام مجموعة بيانات CMU-MOSEI. ويجدر بالذكر أن الكود المُستخدم لاستنساخ التجارب المقدمة مفتوح المصدر ويمكن الوصول إليه عبر الرابط التالي: https://github.com/jbdel/MOSEI_UMONS.