HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 4 أشهر

CoordViT: طريقة جديدة لتحسين التعرف على المشاعر الصوتية المستندة إلى Vision Transformer باستخدام دمج معلومات الإحداثيات

{Seung-Ho Lee Jeongyoon Kim}

الملخص

في الآونة الأخيرة، أظهرت الطريقة القائمة على نموذج Transformer التي تستخدم صور الطيف الصوتي بدلاً من البيانات الصوتية دقة أعلى مقارنة بشبكات التعلم العميق التلافيفية (CNNs) في مهمة تمييز العواطف الصوتية. وتعتمد طريقة "Transformer البصري" (ViT)، وهي طريقة قائمة على Transformer، على دقة تصنيف عالية من خلال تقسيم الصورة المدخلة إلى شرائح، لكنها تواجه مشكلة تتمثل في فقدان معلومات موقع البكسل بسبب طبقات التضمين مثل التحويل الخطي. ولذلك، في هذه الورقة البحثية، نقترح طريقة جديدة لتحسين تمييز العواطف الصوتية القائمة على ViT من خلال دمج معلومات الإحداثيات. وبفضل الاحتفاظ بمعلومات موقع البكسل من خلال دمج معلومات الإحداثيات مع الصورة المدخلة، تم رفع الدقة بشكل كبير على مجموعة بيانات CREMA-D إلى 82.96% مقارنةً بأفضل الطرق الحالية في هذه المجموعة. ونتيجة لذلك، أثبتت النتائج فعالية طريقة دمج معلومات الإحداثيات التي نقترحها، ليس فقط في الشبكات التلافيفية (CNNs) بل أيضًا في نماذج Transformer.

المعايير القياسية

معيار قياسيالمنهجيةالمقاييس
speech-emotion-recognition-on-crema-dCoordViT
Accuracy: 82.96

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
CoordViT: طريقة جديدة لتحسين التعرف على المشاعر الصوتية المستندة إلى Vision Transformer باستخدام دمج معلومات الإحداثيات | الأوراق البحثية | HyperAI