شبكة عصبية انتباهية رباعية الأبعاد لتمييز العواطف من خلال التسجيلات الكهروencephalographic (EEG)

التعرف على العواطف باستخدام التسجيل الكهروضوئي للدماغ (EEG) هو مهمة ذات أهمية كبيرة في مجال واجهة الدماغ-الحاسوب. رغم اقتراح العديد من طرق التعلم العميق مؤخرًا، لا يزال من الصعب الاستفادة الكاملة من المعلومات المحتوية في مجالات مختلفة ل-signals EEG. في هذا البحث، نقدم طريقة جديدة تُسمى الشبكة العصبية القائمة على الانتباه رباعي الأبعاد (4D-aNN) للتعرف على العواطف باستخدام EEG. أولاً، يتم تحويل الإشارات الخام لـ EEG إلى تمثيلات فضائية-طيفية-زمنية رباعية الأبعاد. ثم، تعتمد الطريقة المقترحة 4D-aNN آليات الانتباه الطيفي والفضائي لتوزيع الأوزان بشكل متكيف لمختلف المناطق الدماغية وشُرَائح التردد، ويتم استخدام شبكة عصبية تقنية التلافيف (CNN) للتعامل مع المعلومات الطيفية والفضائية للتمثيلات رباعية الأبعاد. بالإضافة إلى ذلك، يتم دمج آلية الانتباه الزمني في ذاكرة طويلة المدى قصيرة المدى ثنائية الاتجاه (LSTM) لاستكشاف الارتباطات الزمنية للتمثيلات رباعية الأبعاد. حقق نموذجنا أفضل الأداء على مجموعة بيانات SEED تحت تقسيم داخل الفرد. أظهرت النتائج التجريبية فعالية آليات الانتباه في مختلف المجالات للتعرف على العواطف باستخدام EEG.