تمييز العواطف الصوتية باستخدام الميزات الصوتية وتمثيل الكلمات

يمكن إجراء التعرف على المشاعر تلقائيًا من خلال العديد من الوسائط. تقدم هذه الورقة وسيلة للتمييز بين فئات المشاعر الصوتية باستخدام ميزات الصوت وتمثيل الكلمات (word embedding). يمكن دمج ميزات النص مع ميزات الصوت لتحسين دقة التعرف على المشاعر، ويمكن الحصول على كلا النوعين من الميزات من الصوت نفسه. في هذا العمل، نستخدم مقاطع صوتية بعد إزالة الفواصل الصوتية في التعبير، حيث يتم استخراج الميزات الصوتية لتمييز المشاعر بناءً على الصوت. يُستخدم تمثيل الكلمات كمُدخل رئيسي لتمييز المشاعر النصية، كما يُقترح دمج كلا النوعين من الميزات بهدف تحسين الأداء. تُستخدم طبقتان من الشبكات العصبية ذات الاتجاه الواحد (LSTM) لمعالجة النص، بينما تُطبَّق طبقات متصلة بالكامل (fully connected layers) لتمييز المشاعر الصوتية. ثم تُدمج الشبكتان عبر طبقات متصلة بالكامل بطريقة الدمج المبكر (early fusion) لإنتاج واحدة من فئات المشاعر الأربعة المُتنبأ بها. تُظهر النتائج أن دمج الميزات الصوتية والنصية يحقق دقة أعلى تبلغ 75.49٪، مقارنةً بدقة 58.29٪ عند استخدام الصوت فقط، أو 68.01٪ عند استخدام النص فقط. كما تتفوق هذه النتائج على الطرق السابقة المُقترحة من قبل آخرين باستخدام نفس مجموعة البيانات ونفس الوسائط.