إنجاز جديد في مجال واجهات الدماغ والحاسوب: الأفكار تتحدث، والآلات تفسر

إن استخدام الشبكات العصبية لفك تشفير الإشارات العصبية في مناطق الدماغ المقابلة عندما يتحدث الناس، ثم استخدام الشبكات العصبية المتكررة لتوليف الإشارات في الكلام، يمكن أن يساعد المرضى الذين يعانون من اضطرابات اللغة في حل مشاكل التواصل اللغوي.

ربما تصبح "قراءة العقول" حقيقة واقعة.

يعتبر التحدث أمرًا شائعًا جدًا بالنسبة لمعظم الناس. ومع ذلك، لا يزال هناك الكثير من الناس في هذا العالم الذين يعانون من هذه الأمراض: السكتة الدماغية، وإصابات الدماغ الرضحية، والأمراض العصبية التنكسية مثل مرض باركنسون، والتصلب المتعدد والتصلب الجانبي الضموري (ALS أو مرض لو جيريج)، وما إلى ذلك، وكثيراً ما يعانون منفقدان القدرة على الكلام بشكل لا رجعة فيه.

ويعمل العلماء بجهد كبير على استعادة الوظائف البشرية وإصلاح الأعصاب، وتعد واجهة الدماغ والحاسوب (BCI) مجالاً رئيسياً.

تشير واجهة الدماغ والحاسوب إلى اتصال مباشر تم إنشاؤه بين دماغ الإنسان أو الحيوان والأجهزة الخارجية لتمكين تبادل المعلومات بين الدماغ والجهاز.

ولكن يبدو أن واجهة الدماغ والحاسوب كانت دائما مفهوما بعيدا عن متناولنا. نُشرت اليوم ورقة بحثية في المجلة الأكاديمية المرموقة Natureتركيب الكلام من خلال فك التشفير العصبي للجمل المنطوقة"("تركيب الكلام مع فك التشفير العصبي للجمل المنطوقة"")، والذي يوضح لنا أن الأبحاث في مجال واجهات الدماغ والحاسوب قد خطت خطوة كبيرة إلى الأمام.

محنة الأشخاص الذين يعانون من إعاقات في الكلام

في الواقع، إن الأبحاث المتعلقة بواجهات الدماغ والحاسوب مستمرة منذ أكثر من 40 عاماً. ومع ذلك، فإن التقنيات الأكثر نجاحا وانتشارا سريريا حتى الآن هي فقط تقنيات استعادة الحواس مثل زراعة القوقعة.

حتى يومنا هذا، لا يستطيع بعض الأشخاص الذين يعانون من إعاقات شديدة في الكلام التعبير عن أفكارهم إلا كلمة بكلمة باستخدام الأجهزة المساعدة.

يمكن لهذه الأجهزة المساعدة تتبع حركات العين أو عضلات الوجه الدقيقة للغاية وتهجئة الكلمات بناءً على إيماءات المريض.

كان لدى الفيزيائي ستيفن هوكينج جهازًا كهذا مثبتًا على كرسيه المتحرك.

في ذلك الوقت، اعتمد هوكينج على حركات العضلات التي يتم اكتشافها بالأشعة تحت الحمراء لإصدار الأوامر، وتأكيد الحروف التي يمسحها مؤشر الكمبيوتر، وكتابة الكلمات التي يريدها. بعد ذلك، استخدم جهاز تحويل النص إلى كلام "للتحدث" بالكلمات. وبمساعدة هذه التقنيات السوداء، أصبحنا قادرين على قراءة كتابه "تاريخ موجز للزمن".

ومع ذلك، مع مثل هذه المعداتإن إنشاء نص أو كلام مُركَّب عملية شاقة، وعرضة للخطأ، وبطيئة للغاية.يُسمح عادةً بحد أقصى 10 كلمات في الدقيقة. وكان هوكينج سريعًا جدًا في ذلك الوقت، لكنه لم يكن يستطيع تهجئة سوى 15 إلى 20 كلمة. يمكن أن يصل الكلام الطبيعي إلى 100 إلى 150 كلمة في الدقيقة.

بالإضافة إلى ذلك، فإن هذه الطريقة محدودة بشدة بقدرة المشغل على تحريك جسمه.

ولحل هذه المشكلات، يدرس مجال واجهة الدماغ والحاسوب كيفية تفسير الإشارات الكهربائية المقابلة للقشرة الدماغية مباشرة إلى كلام.

تقوم الشبكات العصبية بتفسير إشارات الدماغ لتركيب الكلام

والآن، حدث تقدم كبير في حل هذه المشكلة الصعبة.

اقترح إدوارد تشانج، أستاذ جراحة الأعصاب في جامعة كاليفورنيا، سان فرانسيسكو، وزملاؤه في بحثهم "تركيب الكلام من فك التشفير العصبي للجمل المنطوقة" أنيمكن لواجهة الدماغ والحاسوب التي تم إنشاؤها فك تشفير الإشارات العصبية التي يتم إنشاؤها عندما يتحدث الأشخاص وتحويلها إلى كلام.يمكن للنظام توليد 150 كلمة في الدقيقة، وهو ما يقترب من سرعة التحدث البشري الطبيعي.

قام فريق الباحثين بتجنيد خمسة مرضى مصابين بالصرع كانوا يتلقون العلاج وطلبوا منهم التحدث بمئات الجمل بصوت عالٍ بينما تم تسجيل إشارات تخطيط كهربية الدماغ عالية الكثافة (ECoG) وتتبع النشاط العصبي في القشرة الحسية الحركية البطنية، مركز إنتاج الكلام في الدماغ.

يستخدمالشبكات العصبية المتكررة (RNNs)قام الباحثون بفك تشفير الإشارات العصبية التي تم جمعها في خطوتين.

أولا، همتحويل الإشارات العصبية إلى إشارات تمثل حركات الأعضاء الصوتية.يتضمن إشارات الدماغ المتعلقة بحركات الفك والحلق والشفة واللسان.

الخطوة الثانية هي تحويل الإشارة إلى كلمات منطوقة بناءً على الحركات المشفرة للأعضاء الصوتية.

وفي عملية فك التشفير، قام الباحثون أولاً بفك تشفير إشارات التخطيط الكهربائي المستمر من سطح ثلاث مناطق من الدماغ عندما يتحدث المريض. تم تسجيل إشارات تخطيط القلب هذه بواسطة أقطاب كهربائية غازية.

بعد فك التشفير، يتم الحصول على 33 نوعًا من مؤشرات خصائص حركة الأعضاء الصوتية، والتي يتم فك تشفيرها بعد ذلك إلى 32 معلمة كلامية (بما في ذلك درجة الصوت، والتعبير الصوتي، وما إلى ذلك)، وأخيرًا يتم تصنيع موجات صوتية كلامية بناءً على هذه المعلمات.

ولتحليل دقة الكلام المُصنَّع في إعادة إنتاج الكلام الحقيقي، قارن الباحثون السمات الصوتية للكلام الأصلي بالكلام المُصنَّع، ووجدوا أن الكلام الذي فككته الشبكة العصبية أعاد إنتاج الفونيمات الفردية في الجمل الأصلية التي نطق بها المريض بشكل كامل، بالإضافة إلى الاتصالات الطبيعية والتوقفات بين الفونيمات.

وبعد ذلك، استخدم الباحثون أسلوب التعهيد الجماعي لطلب من مستخدمي الإنترنت تحديد الكلام الذي تم تجميعه بواسطة جهاز فك التشفير. والنتيجة النهائية هي أن المستمع يكرر محتوى الكلام المركب.معدل النجاح يقترب من 70%.

بالإضافة إلى ذلك، قام الباحثون باختبار قدرة جهاز فك التشفير على تركيب الكلام الصامت. يقول المختبر أولاً جملة ثم يردد نفس الجملة بصمت (مع الحركات ولكن دون إصدار أي صوت). وأظهرت النتائج أن طيف الكلام الذي تم تركيبه بواسطة جهاز فك التشفير لحركات الكلام الصامت كان مشابهًا لطيف الصوت لنفس الجملة.

نقطة تحول: التحديات والتوقعات تتعايش معًا

وقال تشانج: "تظهر هذه الدراسة لأول مرة أننا نستطيع توليد جمل منطوقة كاملة بناءً على نشاط دماغ الفرد". هذا مثير للاهتمام. هذه تقنية في متناول اليد، وينبغي أن نكون قادرين على بناء أجهزة قابلة للتطبيق سريريًا للمرضى الذين يعانون من فقدان اللغة.

وأضاف جوبالا أنومانشيبالي، المؤلف الأول للدراسة: "أنا فخور بتجميع الخبرات في علم الأعصاب واللغويات والتعلم الآلي لنكون جزءًا من هذا الإنجاز المهم في مساعدة الأشخاص ذوي الإعاقات العصبية".

وبطبيعة الحال، لا تزال هناك العديد من التحديات التي تحول دون تحقيق 100% من تركيب الكلام في التفاعل الصوتي بين الدماغ والحاسوب، مثل ما إذا كان المرضى قادرين على قبول الجراحة التوغلية لتثبيت الأقطاب الكهربائية، وما إذا كانت الموجات الدماغية في التجربة هي نفسها تلك الخاصة بالمرضى الحقيقيين، وما إلى ذلك.

ومع ذلك، من هذه الدراسة، رأينالم تعد واجهة الدماغ والحاسوب لتوليف الكلام مجرد مفهوم.

نأمل أنه في يوم ما في المستقبل، سيتمكن الأشخاص الذين يعانون من اضطرابات الكلام من استعادة القدرة على "التحدث" والتعبير عن أفكارهم في أقرب وقت ممكن.

انقر لقراءة المقال الأصلي