تعلم من علاقات التسميات في العواطف البشرية

تقدير الحالة العاطفية والنفسية للإنسان بطريقة آلية يواجه العديد من الصعوبات، بما في ذلك التعلم من تسميات ذات دقة زمنية ضعيفة أو معدومة، والتعلم من قواعد بيانات قليلة تحتوي على بيانات محدودة (غالبًا بسبب القيود السرية)، بالإضافة إلى مقاطع الفيديو الطويلة جدًا التي تم التقاطها في بيئات حقيقية. ولهذه الأسباب، تميل مناهج التعلم العميق إلى الانحراف الزائد، أي الوصول إلى تمثيلات خفية ذات أداء تعميم ضعيف في المهمة النهائية للتقدير الخطي. لتجاوز هذا، نقدم في هذه الدراسة مساهمتين مكملتين. أولاً، نقدم خسارة علاقاتية جديدة للمهام التصنيف المتعدد والترتيبية التي تنظم التعلم وتؤدي إلى تعميم أفضل. تعتمد الخسارة المقترحة على المعلومات العلاقاتية بين متجهات التسميات لتعلم تمثيلات خفية أفضل عن طريق توافق المسافات بين التسميات ضمن الدفعة مع المسافات في فضاء الميزات الخفي. ثانيًا، نستخدم هندسة انتباه ثنائية المرحلة تقدير فيها الهدف لكل كليب باستخدام الميزات من الكليبات المجاورة كسياق زمني. نقيم المنهجية المقترحة على مشكلتي تقدير الحالة العاطفية المستمرة وشدة الفصام، حيث يوجد بينهما توازٍ منهجي وسياقي. تظهر النتائج التجريبية أن المنهجية المقترحة تتفوق على جميع الأساليب الأساسية. وفي مجال الفصام، تتفوق المنهجية المقترحة بشكل كبير على أفضل الأساليب السابقة بتحقيق نسبة PCC تصل إلى 78% وهي قريبة من أداء الخبراء البشريين (85%) وأعلى بكثير من الأعمال السابقة (زيادة بنسبة تصل إلى 40%). بالنسبة للاعتراف بالحالة العاطفية، نتفوق على الأساليب الرؤيوية السابقة من حيث CCC في كلٍّ من قاعدة بيانات OMG وAMIGOS. وبشكل خاص بالنسبة لـ AMIGOS، نتفوق على أفضل CCC سابقة لأعمال الرؤيا لكلٍّ من الإثارة والتقييم العاطفي بمقدار 9% و13% على التوالي، وفي قاعدة بيانات OMG نتفوق على أعمال الرؤيا السابقة بمقدار يصل إلى 5% لكلٍّ من الإثارة والتقييم العاطفي.ملاحظة: تم استخدام الاختصار PCC (Pearson Correlation Coefficient) و CCC (Concordance Correlation Coefficient) كما هو دون ترجمتهما لأنهما مصطلحان متخصصان يستخدمان بشكل شائع في الأبحاث العلمية باللغة العربية أيضًا.