من الصعب الحصول على مجموعات بيانات كبيرة لتمييز المشاعر الصوتية، كما أن المجموعات الصغيرة قد تحتوي على انحيازات. من ناحية أخرى، تكون تصنيفات الشبكات العميقة عرضة لاستغلال هذه الانحيازات والاعتماد على طرق مختصرة مثل خصائص المُتحدث. غالبًا ما تؤدي هذه الطرق المختصرة إلى تقليل قدرة النموذج على التعميم. لمعالجة هذا التحدي، نقترح إطارًا للتعلم بالمنافسات القائم على المشتقات، يتعلم مهمة تمييز المشاعر الصوتية مع تطبيع خصائص المُتحدث من تمثيل الميزات. نُظهر فعالية طريقةنا في البيئتين المستقلة عن المُتحدث والمتقيدة به، ونحقق نتائجًا جديدة على مستوى الحد الأقصى من الأداء (state-of-the-art) على مجموعة بيانات IEMOCAP الصعبة.