Brain-IT: استعادة الصور من التصوير بالرنين المغناطيسي الوظيفي عبر محول التفاعل الدماغي
Roman Beliy Amit Zalcher Jonathan Kogman Navve Wasserman Michal Irani

الملخص
إعادة بناء الصور التي شاهدها الأشخاص من تسجيلات دماغهم باستخدام التصوير بالرنين المغناطيسي الوظيفي (fMRI) يُمكّن من فتح نافذة غير جراحية على الدماغ البشري. وعلى الرغم من التقدم الحديث الذي مكّنته نماذج الانتشار (diffusion models)، فإن الطرق الحالية غالبًا ما تفتقر إلى الولاء للصور الحقيقية التي شُوهدت. نقدّم "Brain-IT"، وهي منهجية مستوحاة من بنية الدماغ، تُعالج هذه التحديات من خلال نموذج تفاعل الدماغ (Brain Interaction Transformer - BIT)، الذي يُمكّن من تفاعلات فعّالة بين مجموعات من البكسلات العصبية الوظيفية المتشابهة. تُشترَك هذه المجموعات الوظيفية بين جميع المشاركين، وتعمل كوحدات بناء لدمج المعلومات داخل الدماغ الواحد وعبر الدماغيات المختلفة. وجميع مكونات النموذج تُشترَك بين جميع المجموعات والمشاركين، مما يُمكّن من تدريب فعّال باستخدام كميات محدودة من البيانات. لقيادة عملية إعادة بناء الصور، يُقدّر BIT ميزتين مكانيتين متكاملتين على مستوى البصمات (patch-level) في الصورة: (1) ميزات معنوية عالية المستوى، التي توجّه نموذج الانتشار نحو المحتوى المعنوي الصحيح للصورة؛ و(2) ميزات بنائية منخفضة المستوى، التي تساعد في تهيئة عملية الانتشار ببنية خشنة صحيحة للصورة. يُمكّن التصميم المُعتمد في BIT من تدفق مباشر للمعلومات من مجموعات بكسلات الدماغ إلى الميزات المكانية للصورة. وباستناد إلى هذه المبادئ، تُحقّق طريقة عملنا إعادة بناء صور من التسجيلات fMRI تُعيد بناء الصور المرئية بدقة عالية، وتتفوّق على الطرق المُتطورة حاليًا من حيث الجودة البصرية ومقاييس الأداء الموضوعية القياسية. علاوةً على ذلك، وباستخدام فقط ساعة واحدة من بيانات fMRI لمشارك جديد، نُحقّق نتائج تُقاس بجودة الطرق الحالية التي تم تدريبها على تسجيلات كاملة تبلغ 40 ساعة.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.