التمييز والانتباه والتضخم لفك شفرة الصور ذات الدقة العالية من أنشطة الدماغ

فك شفرة المحفزات البصرية من الاستجابات العصبية المسجلة بواسطة التصوير بالرنين المغناطيسي الوظيفي (fMRI) يمثل تقاطعاً مثيراً بين العلوم العصبية المعرفية وتعلم الآلة، مع وعد بتحقيق تقدم في فهم الإدراك البصري للإنسان وإنشاء واجهات دماغ-آلة غير غازية. ومع ذلك، فإن هذه المهمة صعبة بسبب الطبيعة الضوضائية ل-signals الرنين المغناطيسي الوظيفي وأنماط تمثيل الدماغ البصرية المعقدة. لمعالجة هذه التحديات، نقدم إطاراً لتعلم تمثيل الرنين المغناطيسي الوظيفي يتكون من مرحلتين. المرحلة الأولى تقوم بتدريب متعلم خصائص الرنين المغناطيسي الوظيفي بشكل مسبق باستخدام مُشفر ذاتي ذو تباين مضاعف مقنّع (Double-contrastive Mask Auto-encoder) لتعلم التمثيلات الخالية من الضوضاء. أما المرحلة الثانية فتقوم بضبط متعلم الخصائص ليركز على الأنماط النشطة العصبية الأكثر إفادة لإعادة بناء الصور، وذلك بإرشاد من مشفر ذاتي للصور (image auto-encoder). ثم يقوم متعلم خصائص الرنين المغناطيسي الوظيفي المُحسَّن بتكييف نموذج انتشار الكامنة لإعادة بناء محفزات الصور من أنشطة الدماغ.تظهر النتائج التجريبية تفوق نموذجنا في إنتاج صور عالية الدقة ودقيقة معنى، حيث يتجاوز بكثير الطرق السابقة الأكثر تقدماً بنسبة 39.34% في دقة تصنيف الدلالات البصرية (50-way-top-1 semantic classification accuracy). يدعو بحثنا إلى استكشاف إضافي للاستعداد المحتمل للمهمة الفكية ويساهم في تطوير واجهات الدماغ-الآلة غير الغازية.