نموذج قائم على الترانسفورمر مع التقطير الذاتي للاعتراف بالعواطف متعددة الوسائط في المحادثات

التعرف على العواطف في المحادثات (ERC)، وهو مهمة التعرف على العاطفة لكل تعبير في محادثة، يعتبر من الأمور الحاسمة لبناء آلات تعاطفية. تركز الدراسات الحالية بشكل أساسي على التقاط الارتباطات السياقية والمرتبطة بالمتكلم في النمط النصي، ولكنها تتجاهل أهمية المعلومات متعددة الوسائط. يختلف التعرف على العواطف في المحادثات النصية عن التعرف متعدد الوسائط، حيث أن التقاط التفاعلات داخل النمط وعبر الأنواع المختلفة من الوسائط، وتعلم الأوزان بين الوسائط المختلفة، وتعزيز تمثيلات الوسائط تلعب أدوارًا مهمة في ERC متعدد الوسائط. في هذا البحث، نقترح نموذجًا يستند إلى المتحولات مع الذكاء الذاتي (SDT) لهذه المهمة. يستخدم النموذج المستند إلى المتحولات تقنيات المتحولات داخل النمط وعبر الأنواع المختلفة من الوسائط لتقاط التفاعلات داخل وعبر الوسائط، ويتعلم الأوزان بين الوسائط بطريقة ديناميكية من خلال تصميم استراتيجية دمج متدرجة ببوابات (hierarchical gated fusion strategy). بالإضافة إلى ذلك، للحصول على تمثيلات أكثر تعبيرًا للوسائط، نعتبر العلامات اللينة للنموذج المقترح كإشراف تدريبي إضافي. تحديدًا، نقدم الذكاء الذاتي لنقل المعرفة من العلامات الصعبة واللينة من النموذج المقترح إلى كل وسيلة. أظهرت التجارب على مجموعتي بيانات IEMOCAP وMELD أن SDT يتفوق على خطوط الأساس السابقة التي تعتبر أفضل ما هو موجود حاليًا.