HyperAI超神经

أصبحت أمراض الجهاز الهضمي تشكل تحديًا خطيرًا للصحة العامة على مستوى العالم. وبحسب إحصائيات الوكالة الدولية لأبحاث السرطان التابعة لمنظمة الصحة العالمية، فإن معدل الإصابة بأمراض المعدة في السكان يصل إلى 80%. في الصين، وصل عدد المرضى الذين يعانون من أمراض الجهاز الهضمي إلى 120 مليونًا، وهناك اتجاه واضح نحو المرضى الأصغر سنًا.من الضروري الاهتمام بصحة الجهاز الهضمي.

في هذا السياق، اجتذبت تقنية التنظير بالكبسولات الدقيقة (MCCE)، كأداة تشخيصية متقدمة، اهتمامًا واسع النطاق نظرًا لخصائصها غير الجراحية وغير المؤلمة والخالية من العدوى المتبادلة.على وجه التحديد، تحتوي MCCE على كاميرا لاسلكية مدمجة في الكبسولة. كل ما يحتاجه المريض هو بلع الكبسولة، والتي سوف تمر عبر المريء والمعدة، ثم تدخل إلى الأمعاء الدقيقة، حيث يتم التقاط عشرات الآلاف من الصور في هذه العملية وتسجيلها في القرص الصلب الموجود في حزام المريض. وأخيرا، سيتم إخراج الكبسولة بشكل طبيعي من الجسم مع براز المريض. وبناءً على الصور الملتقطة، يستطيع الأطباء التعرف بسرعة على أمراض الجهاز الهضمي أو الحالات غير الطبيعية، مما يقلل بشكل كبير من الألم الطبي للمرضى.

ومع ذلك، نظرًا لأن حركة منظار الكبسولة تعتمد بشكل أساسي على حركة الجهاز الهضمي، فإن نطاق إطلاقها محدود. من الصعب أن يتمكن MCCE من التقاط المنطقة المحددة التي يريد الطبيب التركيز عليها (أي منطقة الاهتمام) بشكل فعال، وغالبًا ما يمكنه التقاط عدد كبير فقط من الصور المجزأة ذات وجهات النظر غير الثابتة. عادةً ما تعاني هذه الصور من مشاكل مثل ضعف الملمس، وتغييرات المنظور الكبيرة، والتشوه عند التقاطها من مسافة قريبة.ويشكل هذا تحديات كبيرة فيما يتعلق بخياطة الصور وتحديد موقعها، كما يزيد من صعوبة اكتشاف منطقة الآفة بدقة.

ردًا على ذلك، اقترح فريق لو فينج من جامعة هواتشونغ للعلوم والتكنولوجيا، بالتعاون مع شنغ بين من جامعة شنغهاي جياو تونغ، وجامعة جنوب وسط القوميات، وجامعة هونج كونج للعلوم والتكنولوجيا (قوانغتشو)، وجامعة هونج كونج للفنون التطبيقية، وجامعة سيدني، طريقة خياطة صور كبسولة ذاتية الإشراف تعتمد على مطابقة الأجزاء تسمى S2P-Matching.تحاكي هذه الطريقة سلوك إطلاق منظار الكبسولة في الجهاز الهضمي، وتعزز البيانات الأصلية، وتستخدم التعلم التبايني لاستخراج الميزات المحلية للصورة، وتقوم بمطابقة مستوى الرقعة للصورة من خلال نموذج المحول. وفي نهاية المطاف، يمكن تحسين المطابقة إلى مستوى البكسل، مما قد يحسن بشكل كبير دقة ومعدل نجاح تجميع الصور ويعزز القدرة على اكتشاف أمراض الجهاز الهضمي وتشخيصها في مرحلة مبكرة.

تم قبول هذه النتيجة، التي تحمل عنوان "مطابقة S2P: مطابقة ذاتية الإشراف تعتمد على التصحيح باستخدام المحول لخياطة صور التنظير الداخلي للكبسولة"، للنشر في مجلة IEEE Transactions on Biomedical Engineering، وهي مجلة دولية رائدة في مجال الهندسة الطبية الحيوية.

أبرز الأبحاث:

* بالمقارنة مع الطرق الأخرى الموجودة، فإن أداء S2P-Matching أفضل في مطابقة صور MCCE الفعلية، وخاصة في حل مشاكل المنظر البعيد والملمس الضعيف لصور الجهاز الهضمي. تم تحسين دقة المطابقة ومعدل النجاح بمقدار 187.9% و 55.8% على التوالي.

* تولد مطابقة S2P مجموعة بيانات صور محاكاة من خلال محاكاة سلوك التصوير لمنظار الكبسولة، مما قد يساعد النموذج على تعلم ميزات الصورة من وجهات نظر مختلفة

* اقترح الباحثون طريقة مطابقة S2P، والتي تملأ الفجوة التي لا تستطيع المناظير التقليدية تحقيقها في الخياطة والتحديد الدقيق، مما يساعد الأطباء على مراقبة الجهاز الهضمي بشكل أكثر شمولاً ووضوحًا، وتحسين كفاءة فحص أمراض الجهاز الهضمي، وبالتالي تعزيز التطبيق الأوسع لتكنولوجيا المناظير غير الجراحية في الممارسة السريرية.

عنوان الورقة:
http://dx.doi.org/10.1109/TBME.2024.3462502

قم بمتابعة الحساب الرسمي ورد على "Capsule Endoscopy" للحصول على ملف PDF كامل

يجمع المشروع المفتوح المصدر "awesome-ai4s" أكثر من مائة تفسير ورقي لـ AI4S ويوفر مجموعات وأدوات ضخمة من البيانات:

https://github.com/hyperai/awesome-ai4s

مجموعة البيانات: تغطي أكثر من 20000 من بيانات التصوير السريري، مصنفة بدقة من قبل أطباء محترفين

ركز الباحثون على تحليل سلسلة من الصور المستمرة لمناطق ذات أهمية للخبراء الطبيين في السيناريوهات السريرية الفعلية، وسجلات فحص التنظير الكبسولي المختارة من مستشفى محلي من عام 2016 إلى عام 2019.ولتحقق من فعالية ودقة مطابقة S2P، قاموا باختيار الصور الملتقطة بشكل مستمر بواسطة المناظير الكبسولية خلال فترات مستقرة نسبيًا كمجموعات بيانات للتدريب والاختبار. تم التقاط هذه الصور كل 0.5 ثانية، وكانت الدقة المكانية لكل صورة 480×480 بكسل.

وعلى وجه التحديد، لضمان التجميع العشوائي وتحسين مقارنة تأثيرات الخياطة، اختار الباحثون عينات عشوائيًا من بيانات 213 مريضًا واستخرجوا n × 10 إطارات متتالية (تراوحت n من 5 إلى 15) من تسلسل صور كل مريض، وحصلوا على إجمالي 21526 صورة. وبعد فحص دقيق، تم الاحتفاظ في النهاية بـ 20,862 صورة عالية الجودة. وعلى هذا الأساس، اختار الباحثون 528 صورة لتشكيل مجموعة اختبار ودعوا طبيبين متعاونين لتحديد النقاط المتطابقة على هذه الصور بدقة.

هندسة النموذج: تحويل الرقعة، المحول الخاضع للإشراف الذاتي يأخذك في رحلة سلسة من تنظير الكبسولة

يقدم S2P-Matching طريقة تعلم تبايني ذاتية الإشراف محسنة، والتي تستخدم مشفرًا مزدوج الفرع لاستخراج الميزات المحلية وتستخدم هذه الميزات لتدريب نموذج Transformer لمطابقة الصور على مستوى الرقعة، والتي يتم تحسينها أخيرًا بشكل أكبر لمطابقة مستوى البكسل من خلال طريقة الرقعة إلى البكسل.تتضمن العملية الرئيسية خمسة أجزاء: زيادة البيانات، واستخراج موصوف الميزات العميقة، ومطابقة مستوى التصحيح، والتحسين إلى مطابقة مستوى البكسل، وتصفية المراسلات الصحيحة، كما هو موضح في الشكل التالي:

* زيادة البيانات:دور هذا الجزء هو تعزيز البيانات، أي محاكاة سلوك كاميرا منظار الكبسولة في الجهاز الهضمي من خلال التحويل الأفيني، وإنشاء صور مرجعية متعددة المشاهد، ومساعدة النموذج على تعلم ميزات الصورة من وجهات نظر مختلفة، وتجنب تعقيد الوسم اليدوي.

* استخراج الميزات (استخراج الوصف العميق للميزات):دور هذا الجزء هو استخراج أوصاف الميزات العميقة، أي استخراج الميزات المحلية باستخدام تقنية التعلم التبايني المحسنة. على وجه التحديد، يتم استخدام مشفر ثنائي الفرع لاستخراج الميزات من بقع الصورة وبقع الخلفية على التوالي، ويتم ربط هذه الميزات لتشكيل موصوف ميزة عميق للمطابقة.

* مطابقة مستوى التصحيح:يستخدم هذا الجزء نموذجًا قائمًا على المحول لمطابقة مستوى رقعة الصورة. يقوم النموذج بتوسيع مجاله الاستقبالي من خلال آلية الاهتمام الذاتي متعددة الرؤوس لتحديد أزواج المطابقة المختلفة في الصورة بشكل فعال. بالإضافة إلى ذلك، يتم إنشاء مصفوفة احتمالية مطابقة من خلال عملية softmax المزدوجة لتحديد ثقة اقتران التصحيح.

* تحسين المطابقة على مستوى البكسل:يقوم هذا الجزء بتحسين الصورة من مطابقة مستوى الرقعة إلى مطابقة مستوى البكسل. وهذا يعني أنه بناءً على مطابقة مستوى الرقعة، يتم استخدام طريقة الرقعة إلى البكسل لتحسين المطابقة مع مستوى البكسل لتحسين دقة الخياطة بشكل أكبر.

* تصفية التوافق الصحيح:حدد أزواج المطابقة الصحيحة، أي استخدم خوارزمية MAGSAC لتصفية أزواج المطابقة غير الصحيحة لضمان نتائج مطابقة دقيقة على مستوى البكسل.

الجمع بين زيادة البيانات، والتعلم التبايني، وشبكات المحولات، والمطابقة على مستوى البكسل،يمكن أن تعمل مطابقة S2P على تحسين دقة المطابقة والخياطة للصور التنظيرية بشكل فعال، وخاصة في حالات ضعف الملمس والتصوير القريب والدوران، مما يوفر قيمة تطبيق محتملة لفحص الجهاز الهضمي بناءً على MCCE.وفي المستقبل، سوف يعمل الباحثون على توسيع نطاق سيناريوهات تطبيق هذه الطريقة، مثل التعامل مع ظروف الإضاءة المعقدة، والفقاعات، والضبابية، والانسداد.

الاستنتاج التجريبي: المطابقة + الوصل، مطابقة S2P متعددة الاستخدامات في صور تنظير الكبسولة

لتقييم أداء طريقة مطابقة S2P، قارن الباحثون تأثيرات مطابقة الصور مع خوارزميات مطابقة الصور المتقدمة الأخرى الحالية (مثل CAPS، وASIFT، وDeepMatching، وR2D2، وSuperPoint، وما إلى ذلك). ومن بينها، تحتوي مجموعة البيانات المستخدمة في التجربة على صور تنظير الكبسولة التي تم جمعها من عام 2016 إلى عام 2019، والتي تغطي مجموعة متنوعة من المشاهد المعقدة مثل القوام الضعيف، والتصوير عن قرب، والدوران بزاوية كبيرة.

كما هو موضح في الجدول أدناه، تظهر نتائج البحث أنه في جميع الأنواع التجريبية (الملمس الضعيف، التقريب، الدوران بزاوية كبيرة)، يظهر S2P-Matching أعلى درجات NCM (عدد النقاط المطابقة بشكل صحيح) وSR (معدل النجاح)، بمتوسط NCM يبلغ 311 ومتوسط SR يبلغ 81.7%.بالمقارنة مع الخوارزميات التقليدية، تم تحسين دقة مطابقة S2P-Matching بشكل كبير.

قام الباحثون باختيار ثلاث مجموعات من الصور من مجموعات بيانات مختلفة (الملمس الضعيف، واللقطات القريبة، والدوران بزوايا كبيرة). ومقارنة نتائج المطابقة للطرق المختلفة. مخطط مرئي. يتضمن كل زوج من صور الإدخال صورتين للتنظير الداخلي للكبسولة تم التقاطهما بفاصل زمني قدره 0.5 ثانية. تم التقاط الأزواج الثلاثة من الصور في كل عمود في مواقع قريبة جدًا وهناك اختلاف في الدوران. تمثل الخطوط البيضاء الأزواج المقابلة، أي النتائج المتطابقة. تظهر الصور المرئية لنتائج مطابقة الصور التي تم الحصول عليها بطرق مختلفة في الشكل التالي:

صور مرئية لنتائج مطابقة الصور التي تم الحصول عليها بطرق مختلفة

يمكن ملاحظة أنه من الصف الأول إلى الصف الثالث، مع ضعف الملمس وزيادة المناطق المكررة، ينخفض عدد الأزواج المتطابقة التي تم الحصول عليها من خلال طرق المطابقة المختلفة بدرجات متفاوتة. على سبيل المثال، لا يمكن لـ CAPS وASIFT استخراج سوى عدد صغير من الأزواج المتطابقة، وهناك أزواج متطابقة غير صحيحة، مما يؤدي إلى أخطاء في تجميع الصورة النهائية. يمكن لـ DeepMatching أيضًا استخراج عدد محدود فقط من الأزواج المتطابقة. عدد المطابقات بين R2d2 وSuperPoint كبير، ولكن هناك العديد من أزواج المطابقة غير الدقيقة. تحتوي SuperGlue وLoFTR وTransforMatcher على عدد أقل من المطابقات الصحيحة. بالمقارنة مع الطرق الأخرى،يحقق S2P-Matching أفضل أداء لمطابقة الميزات ويمكنه استخراج عدد كافٍ من أزواج المطابقة المهمة دون تدخل الشوائب والتحولات الواضحة، وبالتالي ضمان خياطة الصورة النهائية.

في التطبيقات السريرية، تحتوي المناظير الكبسولة على نطاق محدود من الصور الملتقطة في كل مرة، مما يجعل من الصعب على الأطباء مراقبة منطقة الاهتمام في مجال رؤية أوسع، مما قد يؤثر على دقة التشخيص. عادةً ما تتضمن منطقة الاهتمام الكاملة صورًا متعددة متتالية مع تداخل جزئي. لذلك، من المهم جدًا تحقيق خياطة مستمرة لصور تنظير الكبسولة.

كما هو موضح في الشكل أدناه، قام الباحثون بمقارنة الطرق المختلفة لخياطة الإطارات المستمرة لصور تنظير الكبسولة ووجدوا أن:تتمتع تقنية S2P-Matching بتأثير خياطة أكثر طبيعية وأعلى دقة خياطة، ويمكنها التعامل بشكل فعال مع المشكلات الصعبة مثل ضعف نسيج الصورة والدوران. بالمقارنة مع الخوارزميات الأخرى، فإن هذه الطريقة تولد أكبر عدد من الأزواج المتطابقة، ونتائج الخياطة لا تحتوي على مشاكل واضحة مثل عدم محاذاة الملمس، والإفراط في التدرج، واتصال الملمس.

علاوة على ذلك، أجرى الباحثون تجارب الاستئصال لدراسة تأثير الوحدات المختلفة على التأثير النهائي. تظهر النتائج أن إطار عمل S2P-Matching الذي يجمع بين مشتقات الصور وموصوفات الميزات العميقة يمكن أن يحسن بشكل كبير دقة مطابقة الصور، وخاصة عند معالجة صور تنظير الكبسولة المعقدة. بالإضافة إلى ذلك، يعمل S2P-Matching بشكل جيد في معالجة الصور الملتقطة بالدوران عند زوايا مختلفة، ويمكنه التكيف بشكل جيد مع مهام مطابقة الصور ذات الدوران بزوايا كبيرة، بدقة أفضل من الطرق الأخرى.

باختصار، حققت تقنية S2P-Matching دقة مطابقة أعلى وتأثير خياطة أفضل في مهام مطابقة صور تنظير الكبسولة المعقدة، وخاصة في المواقف المعقدة مثل الملمس الضعيف والدوران والتصوير عن قرب.

الرائد في مجال الرعاية الصحية الذكية

مع تقدم التكنولوجيا الطبية، أصبحت المناظير الكبسولة بمثابة "عدسة صغيرة" لاستكشاف العالم الداخلي لجسم الإنسان. بفضل دعم الذكاء الاصطناعي، لا تعمل طريقة الفحص غير الجراحية هذه على تقليل آلام المرضى فحسب، بل توفر للأطباء أيضًا أساسًا تشخيصيًا قيمًا.

ومن الجدير بالذكر أن المؤلف الأول للدراسة، البروفيسور لو فنغ من جامعة هواتشونغ للعلوم والتكنولوجيا، يواصل الاهتمام بتطبيق الذكاء الاصطناعي في تشخيص الأمراض وعلاجها.بالإضافة إلى البحث المذكور أعلاه، تعاونت أيضًا مع فريق جامعة سيدني لنشر ورقة بحثية بعنوان "إطار تصنيف الآفات الدقيقة للتشخيص المساعد المبكر" في مجلة معاملات IEEE/ACM في علم الأحياء الحاسوبي وعلم المعلومات الحيوية، حيث اقترحت إطارًا لتصنيف الآفات الدقيقة لتنظير الكبسولة. يمكن لهذا الإطار تحديد الآفات المرشحة ذات الأحجام المختلفة بدقة من الصور الطبية من تنظير الكبسولة، مما يساعد الأطباء في التشخيص المبكر.

الورق الأصلي:
https://ieeexplore.ieee.org/abstract/document/10077722

وقد حقق البروفيسور لو فنغ نتائج مثمرة في أبحاثه.لقد نشر أكثر من 30 ورقة أكاديمية في المجلات والمؤتمرات الدولية المرموقة مثل Nat Med، وIEEE Network، وTBME، وTCBB، وTIOT، وAAAI، وفاز بالعديد من براءات الاختراع والجوائز التقنية المحلية والدولية.

الصفحة الشخصية للو فينج:
http://faculty.hust.edu.cn/lufeng2/zh_CN/index.htm

يرتبط فريق البحث الخاص بها بمختبر CGCL بجامعة هواتشونغ للعلوم والتكنولوجيا.المختبر هو فريق ابتكار في المجالات الرئيسية بوزارة العلوم والتكنولوجيا، والوحدة الرائدة لفريق الابتكار التابع لبرنامج "تطوير علماء تشانغجيانغ وفريق الابتكار" التابع لوزارة التعليم، وفريق الابتكار التابع لمؤسسة هوبي للعلوم الطبيعية. لقد قامت بتنفيذ ما يقرب من 400 مشروع بحث علمي ولديها موارد غنية بالبيانات الطبية وموارد الحوسبة. وهو أحد المختبرات القليلة جدًا في العالم التي يمكنها إجراء تحليلات بيانات واسعة النطاق على المستوى الصناعي وأبحاث طبية ذكية.
الصفحة الرئيسية لمختبر CGCL بجامعة هواتشونغ للعلوم والتكنولوجيا:
https://grid.hust.edu.cn/

ولم يحقق فريق البروفيسور لو فنغ نتائج ملحوظة بتكنولوجيته الممتازة وموارده الوفيرة فحسب، بل سعى أيضًا بنشاط إلى التعاون مع أفضل الجامعات في الداخل والخارج. على سبيل المثال، في البحث المتعلق بهذه المقالة، تعاون فريق لو فنغ مع البروفيسور شنغ بين، وهو باحث كبير في مجال طب الذكاء الاصطناعي.كان البروفيسور شنغ بين مهتمًا منذ فترة طويلة بتطبيق الذكاء الاصطناعي في الطب ونشر سلسلة من نتائج الأبحاث في هذا المجال. على سبيل المثال، قمنا ببناء أول نظام متكامل لنموذج اللغة المرئية الكبيرة في العالم DeepDR-LLM لتشخيص وعلاج مرض السكري، مما يوفر لأطباء الرعاية الأولية نصائح شخصية لإدارة مرض السكري ونتائج التشخيص المساعدة لاعتلال الشبكية السكري.
مزيد من التفاصيل: الأول في العالم! جامعة تسينغهوا/جامعة شنغهاي جياوتونغ وآخرون يبنون بشكل مشترك نموذجًا لغويًا بصريًا كبيرًا لتشخيص مرض السكري وعلاجه، نُشر في مجلة Nature

وفي المستقبل، ومع الجهود المشتركة لهؤلاء الباحثين المتميزين، نتطلع إلى تحقيق تشخيص طبي أكثر دقة وكفاءة وتحسين تجربة المرضى الطبية بشكل فعال.

مراجع:
1.https://gleneagles.hk/sc/medical-treatments/capsule-endoscopy
2.https://m.21jingji.com/article/20240409/herald/244d34d9d0c815096fa8f3a25ca5cced_zaker.html