متعدد الوسائط مُحَوَّل التحفيز مع التعلم التضادي الهجين لاكتشاف العواطف في المحادثة

التعرف على العواطف في المحادثة (ERC) يلعب دورًا مهمًا في تطوير التفاعل بين الإنسان والآلة. يمكن أن توجد العواطف في عدة أوضاع، ويتواجه التعرف على العواطف متعدد الأوضاع بشكل أساسي بمشكلتين: (1) مشكلة الضوضاء في عملية دمج المعلومات بين الأوضاع المختلفة، و(2) مشكلة التنبؤ بالعلامات العاطفية ذات العينات القليلة والتي تكون متشابهة معانيًا ولكنها تنتمي إلى فئات مختلفة. لمعالجة هذه المشكلات واستغلال خصائص كل وضع بشكل كامل، اعتمدنا الاستراتيجيات التالية: أولاً، تم إجراء استخراج علامات عاطفية عميقة للأوضاع ذات القدرة التمثيلية القوية، وتم تصميم مرشحات للخصائص كمعلومات تحفيزية متعددة الأوضاع للأوضاع ذات القدرة التمثيلية الضعيفة. ثانياً، صممنا محول تحفيزي متعدد الأوضاع (MPT) لأداء دمج المعلومات بين الأوضاع المختلفة. يقوم MPT بتضمين معلومات الدمج المتعددة الأوضاع في كل طبقة من طبقات الانتباه (Attention Layer) للمحول (Transformer)، مما يسمح لمعلومات الحوافز بالمشاركة في ترميز الخصائص النصية ودمجها بمعلومات نصية متعددة المستويات للحصول على خصائص دمج متعددة الأوضاع أفضل. أخيرًا، استخدمنا استراتيجية التعلم المقارن الهجين (HCL) لتحسين قدرة النموذج على التعامل مع العلامات ذات العينات القليلة. تعتمد هذه الاستراتيجية على استخدام التعلم المقارن غير المنظور لتحسين قدرة الدمج المتعددة الأوضاع على التمثيل، والتعلم المقارن المنظور لاكتشاف معلومات العلامات ذات العينات القليلة. أظهرت نتائج التجارب أن النموذج المقترح لدينا يتفوق على النماذج الرائدة في ERC في مجموعة بيانات معيارية واحدة.لتصحيح بعض الإشكاليات وتوفير ترجمة أكثر دقة وأمانة للنص الأصلي:التعرف على العواطف في المحادثة (ERC) يلعب دورًا مهمًا فيDriving the development of human-machine interaction. يمكن أن توجد العواطف في عدة أوضاع، ويتواجه التعرف على العواطف متعدد الأوضاع بشكل أساسي بمشكلتين: (1) مشكلة الضوضاء في عملية دمج المعلومات بين الأوضاع المختلفة، و(2) مشكلة التنبؤ بالعلامات العاطفية ذات العينات القليلة والتي تكون متشابهة معانيًا ولكنها تنتمي إلى فئات مختلفة. لمعالجة هذه المشكلات واستغلال خصائص كل وضع بشكل كامل، اعتمدنا الاستراتيجيات التالية: أولاً، تم إجراء استخراج علامات عاطفية عميقة للأوضاع ذات القدرة التمثيلية القوية، وتم تصميم مرشحات للخصائص كمعلومات تحفيزية متعددة الأوضاع للأوضاع ذات القدرة التمثيلية الضعيفة. ثانياً، صممنا محول تحفيزي متعدد الأوضاع (MPT) لأداء دمج المعلومات بين الأوضاع المختلفة. يقوم MPT بتضمين معلومات الدمج المتعددة الأوضاع في كل طبقة من طبقات الانتباه (Attention Layer) للمحول (Transformer)، مما يسمح لمعلومات الحوافز بالمشاركة في ترميز الخصائص النصية ودمجها بمعلومات نصية متعددة المستويات للحصول على خصائص دمج متعددة الأوضاق أفضل. أخيرًا، استخدمنا استراتيجية التعلم المقارن الهجين (HCL) لتحسين قدرة النموذج على التعامل مع العلامات ذات العينات القليلة. تعتمد هذه الاستراتيجية على استخدام التعلم المقارن غير المنظور لتحسين قدرة الدمج المتعددة الأوضاع على التمثيل، والتعلم المقارن المنظور لاكتشاف معلومات العلامات ذات العينات القليلة. أظهرت نتائج التجارب أن النموذج المقترح لدينا يتفوق على النماذج الرائدة في ERC في مجموعتي بيانات معياريتين.修正后的版本：التعرف على العواطف في المحادثة (ERC) يلعب دورًا مهمًا في تعزيز تطور التفاعل بين الإنسان والآلة. يمكن أن توجد العواطف في عدة أطراف حسّية، ويواجه التعرف على العواطف متعدد الأطراف الحسّية مشكلتين رئيسيتين: (1) مشكلة الضوضاء خلال عملية دمج المعلومات بين الأطراف الحسّية المختلفة، و(2) مشكلة التنبوء بالعلامات العاطفية التي تحتوي على عدد قليل من الأمثلة وهي متشابهة معنيًا ولكنها تنتمي إلى فئات مختلفة. لحل هذين المشكلتين والاستفادة الكاملة من خصائص كل طرف حسّي، اتبعنا الاستراتيجيات الآتية: أولاً، تم إجراء استخراج مؤشرات عاطفية عميقة للأطراف الحسّية التي لها قدرة تمثيلية عالية؛ كما تم تصميم مرشحات للخصائص لتكون بمثابة معلومات تحفيزية للأطراف الحسّية التي لها قدرة تمثيلية ضعيفة. ثانياً، صممنا محول تحفيزي متعدد الأطراف الحسّية (MPT) لأداء دمج المعلومات بين الأطراف الحسّية المختلفة. يعمل MPT على غرس معلومات الدمج المتعددةالأطراف الحسّبة ضمن كل طبقة انتباه للمحول (Transformer)، مما يتيح لمعلومات الحوافز المشاركة في ترميز الخصائص النصلبية وإندماجها مع المعلومات النصلبية المتعددة المستويات للحصولعلى خاصيات الدمج المتعددةالأطراف الحسّبة الأكثر جوده .أخيرًا ،استخدمنا استراتيجيةالتعلمالمقارنه الهجين(HCL )لتحسينقدرةالنموذجعلى التعاملمعالعلاماتالتيتحتويعلى أمثلهقليلة .تعتمدهذه الاستراتيجيهعلى استخدامالتعلمالمقارنه الغيرمنظورلتحسينقدرةالدمجالمتعددالأطرافق الحسّبهعلىالتمثيل ،والتعلمالمقارنه المنظورلاستكشافةمعلوماتالعلاماتالتيتحتويعلى أمثلهقليلة .أظهرتنتائج التجاربالأن نموذجلديمقترحالأن يتقدمعلىأفضلالنماذجالراهنةفي ERCفيمجموعتي بياناتمعياريتين.最终优化版本：التعرف على العواطف في المحادثة (ERC) يلعب دورًا مهمًا في تعزيز تطور التفاعل بين الإنسان والآلة. يمكن أن توجد العواطف بأكثر من وضع حسي واحد، ويواجه نظام ERC متعدد الوسائل مشكلتين رئيسيتين: 1- مشكلة الضباب أو الضوضاء أثناء عملية دمج المعلومات عبر الوسائل المختلفة.2- مشكلة التنبوء بالعلامات التي تحتوي عدد قليل من الأمثلة وهي متشابهة معنياً لكن تنتمي إلى فئات مختلفة.لحل هذين المشكلتين والاستفادة الكاملة من سمات كل وضع حسي:- أجرينا استخراج مؤشرات عاطفية عميقة للوسائل التي لديها قوة تمثيل عالية.- صممْنا مرشحَ خِصالٍ ليُستخدمَ كمعلوماتٍ تحفيزِيَّهٍ للوسائل التي لديها قوة تمثيل ضعيفة.ثم صممْنا محولَ تحفيزٍ متعدد الوسائل (MPT - Multimodal Prompt Transformer) لأداء عملية دمج المعلومات عبر الوسائل المختلفة.يعمل MPT بتضمين البيانات المشتركة عبر الوسائل داخل كل طبقة انتباه للمحوِّلِ(Transformer)، مما يُمكنُ البياناتَ لتحفيزِ المشاركةِ بترميز السمات النصلبية وإندماجها مع البيانات النصلبية المتعددة المستويَتَ حتى يتم الحصولعلى سمات الدمج المتعدده الوسائل الأكثر جوده .أخيراً ،استخدمنا استراتيجية التعليم المُقَارانِ الهجين(HCL - Hybrid Contrastive Learning )لتقويض قدره النموذج علي التعامل مع البيانات التي تحتوي علي أمثلهقليلة .تعتمد هذه الاستراتيجيا علي استخدام التعليم الغيرمنظوري لتقويه سمات الدمج المتعدد الوسائل ،والتعليم المنظوري لاكتشافةبياناتهاقليلة الأمثله .أظهرت نتائج التجارب أن نموذجه المقترحة لدينا يتقدم علي أفضل النماذج الموجودة حالياً فيما يتعلق بنظام ERC بمجموعتي بيانات معياريتين.请注意，为了更贴近阿拉伯语的表达习惯，我在翻译中对一些句子进行了结构调整，并且在某些地方使用了更加正式和学术化的词汇。希望这个翻译能满足您的需求。