بعد جمع 30 جيجابايت وما يقرب من 200 ألف زوج من عينات التدريب، أصدر فريق جامعة فودان كتاب UniFMIR: استخدام الذكاء الاصطناعي لكسر حدود التصوير المجهري

يعد المجهر الفلوري أداة بحثية لا غنى عنها ومهمة في مجال علوم الحياة. مبدأها هو استخدام الضوء فوق البنفسجي كمصدر للضوء لإضاءة الجسم المراد فحصه لجعله يتوهج، ومن ثم ملاحظة شكل وموقع الجسم تحت المجهر. يمكن استخدامه لدراسة امتصاص ونقل المواد داخل الخلايا، وتوزيع وتحديد مواقع المواد الكيميائية، وما إلى ذلك.

ومع ذلك، فإن التعرض الشديد للضوء المثير يمكن أن يؤثر على الخلايا بشكل مباشر أو غير مباشر من خلال العمليات الكيميائية الضوئية. أثناء التجارب التي تجرى على الخلايا الحية لفترات طويلة، من المستحسن أن نتمكن من ملاحظة الفلورسنت مع التعرض لأدنى قدر من الضوء. ومع ذلك، فإن التعرض المنخفض سيؤدي إلى إشارات فلورية أضعف، ويقلل من نسبة الإشارة إلى الضوضاء (SNR) في الصورة، ويجعل تحليل الصورة الكمية أكثر صعوبة.

ولذلك، اجتذبت استعادة الصور باستخدام المجهر الفلوري (FMIR) اهتمامًا واسع النطاق في مجال علوم الحياة. ويهدف إلى الحصول على صور ذات نسبة إشارة إلى ضوضاء عالية من صور ذات نسبة إشارة إلى ضوضاء منخفضة، مما يساعد على الكشف عن معلومات التصوير النانوية المهمة.

في الوقت الحاضر، وبفضل الاستفادة من التطور السريع لتكنولوجيا الذكاء الاصطناعي، تمكنت العديد من أجهزة FMIR القائمة على التعلم العميق من اختراق الحدود الفيزيائية للمجهر الفلوري وحققت تقدماً كبيراً.ومع ذلك، لا تزال النماذج السائدة تواجه تحديات مثل ضعف القدرة على التعميم والاعتماد القوي على البيانات.

وفي هذا الصدد، نشر فريق بحثي من كلية علوم الكمبيوتر والتكنولوجيا بجامعة فودان ورقة بحثية بعنوان "التدريب المسبق لنموذج أساسي لاستعادة الصور العامة القائمة على المجهر الفلوري" في مجلة Nature Methods.لا يخترق نموذج الذكاء الاصطناعي الأساسي UniFMIR المقترح متعدد المهام ومعزز الصور متعدد الأبعاد الحدود الحالية لتصوير المجهر الفلوري فحسب، بل يوفر أيضًا حلاً عامًا لتعزيز صور المجهر الفلوري.

أبرز الأبحاث:

• يعمل نموذج UniFMIR على تحسين أداء خمس مهام رئيسية بشكل كبير: الدقة الفائقة للصورة، وإعادة البناء المتساوي الخواص، وإزالة الضوضاء ثلاثية الأبعاد، وإسقاط السطح، وإعادة بناء الحجم.

• اختراق حدود التصوير المجهري الفلوري الحالي

• قابلة للتطبيق على مهام مختلفة، ووسائط التصوير والهياكل البيولوجية من خلال ضبط المعلمات البسيطة

عنوان الورقة:
https://www.nature.com/articles/s41592-024-02244-3 

تابع الحساب الرسمي ورد على "التصوير المجهري" للحصول على ملف PDF كامل

مجموعة البيانات: 30 جيجابايت، 196,418 زوجًا من عينات التدريب

قام الباحثون بجمع مجموعة بيانات تدريبية كبيرة (حوالي 30 جيجابايت) من 14 مجموعة بيانات عامة، بما في ذلك 196,418 زوجًا من عينات التدريب.يتم تغطية مجموعة واسعة من وسائل التصوير والعينات البيولوجية ومهام استعادة الصور. وفي الوقت نفسه، قام الباحثون أيضًا بتجميع مجموعات البيانات وفقًا لمهام استعادة الصور المختلفة القائمة على المجهر الفلوري وطرق التصوير.

وبما أن هذه المجموعات من البيانات تختلف على نطاق واسع من حيث الشكل والمجال والنطاق العددي، فقد قام الباحثون بمعالجة الصور لتسهيل التدريب اللاحق والتحقق عبر مجموعات البيانات. على وجه التحديد، يقوم بكتابة صور الإدخال وصور GT لمجموعات البيانات الموجودة بتنسيقات تخزين مختلفة (بما في ذلك "TIF" و"npz" و"png" و"nii.gz") في ملف ".npz". بالإضافة إلى ذلك، تم تطبيع الصور لتوحيد التوزيع العددي لمجموعات البيانات المختلفة باتباع طريقة معالجة البيانات في CARE4.

هندسة النموذج: هيكل متعدد الرؤوس ومتعدد الذيل

يستخدم نموذج UniFMIR الذي بناه الباحثون بنية متعددة الرؤوس ومتعددة الذيل.كما هو موضح في الشكل التالي:

خاصة،يتكون UniFMIR من وحدة متعددة الرؤوس، ووحدة تحسين الميزات، ووحدة متعددة الذيل.

تستخدم وحدة الرؤوس المتعددة ووحدة الذيل المتعددة فروعًا مختلفة لاستخراج ميزات ضحلة لمهام محددة والحصول على نتائج دقيقة لمشاكل استعادة الصور المختلفة.

تعتمد وحدة تحسين الميزات على بنية Swin Transformer المتقدمة لتعزيز تمثيل الميزات وإعادة بناء الميزات العالمية والفعالة، وبالتالي تحقيق استعادة الصور عالية الجودة استنادًا إلى المجهر الفلوري. تغطي عمليات استعادة الصور المختلفة المعتمدة على المجهر الفلوري فروعًا مختلفة للرأس والذيل ولكنها تشترك في نفس وحدة تحسين الميزة.

تم تنفيذ نموذج UniFMIR في PyTorch وتم تحسينه باستخدام تقدير اللحظة التكيفية (Adam).ومن بينها، β1 = 0.9، وβ2 = 0.999، وتم تدريب ما مجموعه 500 عصر. معدل التعلم الأولي هو 5 × 10^-5  في البداية، يتم تخفيض المعدل إلى النصف بعد 200 عصر. تم إجراء جميع التجارب على جهاز مزود ببطاقة معالجة الرسوميات Nvidia GeForce RTX 3090 مع ذاكرة بسعة 24 جيجابايت.

في مرحلة ما قبل التدريب، يقوم الباحثون بإدخال جميع بيانات التدريب في النموذج واستخدام البيانات المقابلة لتحسين فروع الرأس والذيل المختلفة لأداء مهام مختلفة. يتم تحسين فرع تحسين الميزة الوسطى باستخدام كافة بيانات التدريب.

خلال مرحلة الضبط الدقيق، قام الباحثون بضبط حجم الدفعة/حجم الرقعة إلى 4/128، و32/64، و32/64، و4/64، و1/16 لمهام الدقة الفائقة للصورة، وإعادة البناء المتساوي الخواص، وإزالة الضوضاء ثلاثية الأبعاد، وإسقاط السطح، وإعادة بناء الحجم، على التوالي، لإنتاج تأثيرات تعليمية أفضل.

يتم تدريب النموذج مسبقًا عن طريق جمع مجموعات بيانات واسعة النطاق وضبط معلمات النموذج باستخدام البيانات من مهام تحسين الصور المختلفة.يظهر UniFMIR أداءً أفضل في التحسين والتعميم مقارنة بالنماذج الملكية.

نتائج البحث: تحسن كبير في أداء 5 مهام رئيسية

تظهر نتائج البحث أن نموذج الذكاء الاصطناعي الأساسي لتحسين صورة المجهر الفلوري UniFMIR قد حسن الأداء بشكل كبير في خمس مهام رئيسية: "دقة الصورة الفائقة، وإعادة البناء المتساوي الخواص، وإزالة الضوضاء ثلاثية الأبعاد، وإسقاط السطح وإعادة بناء الحجم".

• الدقة الفائقة (SR)

لقد قمنا أولاً بالتحقق من إمكانات نهج UniFMIR لمعالجة مشاكل SR، والتي تضمنت صورًا ذات تعقيد هيكلي متزايد، بما في ذلك الحفر المغلفة بالخلايا (CCPs)، والشبكة الإندوبلازمية (ERs)، والأنابيب الدقيقة (MTs)، والأكتين الليفي (F-actin)، والتي تم الحصول عليها باستخدام نظام المجهر الضوئي الهيكلي متعدد الوسائط.

نجح UniFMIR في استنتاج صور SR SIM من صور المجال الواسع (WF) بمستويات عالية من الفلورسنت على مقياس محدود الحيود وكشف عن تفاصيل هيكلية واضحة.

بالمقارنة مع نموذجي SR المجهري الفلوري القائم على التعلم العميق (XTC15 و DFCAN5) ونموذج الدقة الفائقة للصورة الواحدة (ENLCN36)، فإن UniFMIR قادر على إعادة بناء معظم صور الأنابيب الدقيقة بشكل صحيح دون تفويتها أو دمجها، حتى عندما تكون الأنابيب الدقيقة موزعة بكثافة وقريبة من بعضها البعض. بالنسبة للهياكل الفرعية الخلوية المتنوعة، استعاد UniFMIR أيضًا CCPs مجوفة على شكل حلقة وألياف F-actin متشابكة بدقة عالية.

كما قام الباحثون بقياس دقة SR المحققة باستخدام نسبة ذروة الإشارة إلى الضوضاء (PSNR)، ومقياس مؤشر التشابه البنيوي (SSIM)، وخطأ الجذر التربيعي المتوسط الموحد (NRMSE)، وتقدير الدقة من تحليل الزخرفة، وارتباط حلقة فورييه (FRC)، وتحليل SQUIRREL، ومقاييس التجزئة، كما هو موضح في الشكل أعلاه.

عند تقييم شدة الفلورسنت وبنية صور SR SIM، تشير قيم PSNR/SSIM الأعلى وقيم NRMSE المنخفضة إلى SR أفضل، وتتفوق UniFMIR بوضوح في هذه المقاييس.

• إعادة بناء متساوية الخواص

تعني الخواص المتساوية أن الخصائص الفيزيائية والكيميائية وغيرها من خصائص الجسم لن تتغير في اتجاهات مختلفة. على سبيل المثال، تظهر جميع الغازات والسوائل (باستثناء البلورات السائلة) والأجسام غير المتبلورة خواصًا متجانسة. على النقيض من ذلك، فإن التباين يعني أن كل أو جزء من الخصائص الكيميائية والفيزيائية وغيرها من خصائص المادة سوف تتغير مع تغير الاتجاه، مما يظهر خصائص مختلفة في اتجاهات مختلفة.

قام الباحثون بتطبيق UniFMIR على البيانات الخام المتباينة الخواص لتصوير الكبد الحجمي للفأر للتنبؤ بالشرائح المحورية المتباينة الخواص وقارنوها بنموذجين لإعادة البناء المتباين الخواص يعتمدان على التعلم العميق (نماذج CARE و3D U-Net).

تظهر النتائج أن UniFMIR ينتج نتائج إعادة بناء متساوية الخواص أكثر دقة مع توزيع البكسل.

• إزالة الضوضاء ثلاثية الأبعاد

كما قام الباحثون بتقييم أداء UniFMIR في مهمة إزالة الضوضاء من صور الخلايا الحية على مجموعات بيانات Planaria و Tribolium.

بالمقارنة مع نموذجين لإزالة الضوضاء يعتمدان على U-Net، CARE وGVTNets، نجح نموذج UniFMIR في قمع ضوضاء صور المجهر الفلوري ذات نسبة الإشارة إلى الضوضاء المنخفضة بشكل كبير عند قوى ليزر مختلفة/أوقات تعرض مختلفة، كما صور بوضوح أحجام الديدان المفلطحة (S. mediterranea) وخنافس الروث الحمراء ذات النوى المسمى، وهو أمر مفيد لمراقبة التطور الجنيني.

• الإسقاط السطحي

لتحليل ودراسة سلوك الخلايا الظهارية النامية في ذبابة الفاكهة بشكل أفضل، يساعد الإسقاط السطحي على إسقاط حجم ثلاثي الأبعاد في صورة سطح ثنائية الأبعاد. تقسم نماذج التعلم العميق الحالية (ARE و GVTNets) مشكلة استعادة الصورة هذه إلى مشكلتين فرعيتين، وهما إسقاط السطح من ثلاثي الأبعاد إلى ثنائي الأبعاد وإزالة الضوضاء من الصورة ثنائية الأبعاد، وتستخدم شبكتين محددتين للمهمة لحلها باتباع نفس إطار عمل المشفر-الفك مثل U-Net.

الطريقة المقترحة في هذه الدراسة تبحث بشكل أكبر في UniFMIR في مهمة استعادة صورة مجهرية فلورية مركبة أكثر تعقيدًا.بالمقارنة مع ARE وGVTNets، يحقق UniFMIR دقة أعلى في إعادة بناء الإسقاط من حيث مقاييس PSNR/SSIM/NRMSE.

• إعادة بناء الحجم

وفي التجربة، قام الباحثون أيضًا بالتحقق من قدرة UniFMIR على إجراء إعادة بناء الحجم على البيانات المقدمة بواسطة VCD-Net. يمكن لحجم ثلاثي الأبعاد المعاد بناؤه لكل عرض تحديد مسار حركة الكائن المصور، كما هو موضح في الشكل أدناه، مما يساعد في الكشف عن الآليات الأساسية للعديد من ديناميكيات الخلايا الحية المعقدة التي تنطوي على هياكل خلوية فرعية مختلفة.

باختصار، قد يصبح المجهر الفلوري المزود بتقنية UniFMIR "سلاحًا سحريًا" في مختبرات علوم الحياة. يستطيع العلماء الآن ملاحظة الهياكل الدقيقة والعمليات المعقدة داخل الخلايا الحية بشكل أكثر وضوحًا، مما يؤدي إلى تسريع الاكتشافات العلمية والابتكارات الطبية في علوم الحياة والبحوث الطبية ومجالات تشخيص الأمراض في جميع أنحاء العالم.

وفي الوقت نفسه، في مجالات تصنيع أشباه الموصلات، وبحوث وتطوير المواد الجديدة، وما إلى ذلك، يمكن استخدام هذا الإنجاز لتحسين جودة مراقبة وتحليل البنية الدقيقة للمواد، وبالتالي تحسين عمليات التصنيع وتحسين جودة المنتج. في المستقبل، سيتمكن العلماء في مختبر علوم الحياة من تعزيز قدرات إعادة بناء الصور في UniFMIR بشكل مستمر من خلال توسيع كمية وثراء بيانات التدريب بشكل أكبر.

الذكاء الاصطناعي يقود نموذجًا جديدًا في معالجة الصور في علوم الحياة

اليوم، يؤدي التقدم في مجال المجهر إلى إنشاء كميات كبيرة من بيانات التصوير، وتعد كيفية معالجة الصور بكفاءة جزءًا مهمًا من البحث في المجال الطبي الحيوي. مع استمرار الذكاء الاصطناعي في تحقيق اختراقات مذهلة في أبحاث علوم الحياة، ظهر نموذج جديد لمعالجة الصور المعتمدة على الذكاء الاصطناعي.

في عام 2020، أجرى أستاذ الهندسة الحيوية في جامعة رايس في هيوستن بولاية تكساس، بالتعاون مع مركز إم دي أندرسون للسرطان،تم تطوير مجهر حاسوبي يسمى DeepDOF،يعتمد المجهر على تقنية الذكاء الاصطناعي، ويمكن أن يصل عمق المجال الخاص به إلى أكثر من 5 مرات من المجاهر التقليدية مع الحفاظ على الدقة، مما يقلل بشكل كبير من الوقت المطلوب لمعالجة الصور.

في عام 2021، قام فريق بحثي من كلية طب وايل كورنيل بتطوير تقنية حسابية لـمن خلال تطبيق خوارزميات إعادة بناء صور التوطين على مواضع الذروة في بيانات المجهر الذري للقوة (AFM) وبيانات المجهر الذري للقوة التقليدية، يتم تحسين الدقة بما يتجاوز الحد الذي تحدده دائرة نصف قطر الطرف.يمكنه أيضًا حل بقايا الأحماض الأمينية الفردية على سطح البروتين في ظل الظروف الأصلية والديناميكية، مما يحسن بشكل كبير من دقة AFM. تكشف هذه الطريقة عن تفاصيل على المستوى الذري للبروتينات وغيرها من الهياكل البيولوجية في ظل الظروف الفسيولوجية الطبيعية، مما يفتح نافذة جديدة على علم الأحياء الخلوي وعلم الفيروسات وغيرها من العمليات المجهرية.

في أبريل 2024، قدمت ورقة بحثية من معهد ماساتشوستس للتكنولوجيا، ومعهد برود التابع لمعهد ماساتشوستس للتكنولوجيا وجامعة هارفارد، ومستشفى ماساتشوستس العام، أداة ذكاء اصطناعي جديدة يمكنها التقاط عدم اليقين في الصور الطبية.يوفر النظام، المسمى تايكي (نسبة إلى إله الصدفة عند اليونانيين)، تقسيمات متعددة معقولة، كل منها يسلط الضوء على منطقة مختلفة قليلاً من الصورة الطبية.يمكن للمستخدمين تحديد عدد الخيارات التي يجب أن يخرجها Tyche واختيار الخيار الذي يناسب غرضهم بشكل أفضل.

باختصار، يمكن استخدام الذكاء الاصطناعي لتحسين الصور الطبية الحيوية وتقسيمها وتسجيلها وإعادة بنائها لتحسين جودة الصورة واستخراج المعلومات المفيدة، مما يمنح المجاهر زوجًا من "عيون النسر". في المستقبل، وبمساعدة الذكاء الاصطناعي، ستتمكن المجاهر من الرؤية بشكل أكثر وضوحًا ومعالجة البيانات بشكل أسرع وأكثر تلقائية ودقة، مما يجعل البحث العلمي أكثر كفاءة وسهولة.

مراجع:
1.https://www.nature.com/articles/s41592-024-02244-3
2.https://news.fudan.edu.cn/2024/0413/c5a140009/page.htm
3.https://new.qq.com/rain/a/20240417A06LF900
4.http://www.phirda.com/artilce_28453.html?cId=1
5.https://www.ebiotrade.com/newsf/2024-4/20240412015712482.htm