تم اختيار مختبر شنغهاي للذكاء الاصطناعي وآخرون لـ CVPR 2025، واقترحوا أول إطار عمل كامل لإعادة تحديد الصور الطبية، والذي حقق SOTA على 11 مجموعة بيانات

في مجال إدارة الصور الطبية المدعومة بالذكاء الاصطناعي، تعد إعادة التعرف على الصور الطبية (MedReID) تقنية رئيسية تهدف إلى ربط بيانات صور المرضى تلقائيًا من وسائل مختلفة وفي أوقات مختلفة، وبالتالي توفير دعم قوي للبيانات من أجل التشخيص والعلاج الشخصي. ومع ذلك، لم يتم استكشاف هذه المنطقة إلا قليلا.تعتمد الطرق التقليدية في الغالب على ميزات الصور منخفضة المستوى أو البيانات الوصفية التي يتم الاحتفاظ بها يدويًا، والتي يصعب تلبية الاحتياجات السريرية للمطابقة الدقيقة للصور الضخمة متعددة الوسائط.

ولمعالجة هذا التحدي،اقترح مختبر الذكاء الاصطناعي في شنغهاي، بالتعاون مع عدد من الجامعات المعروفة، نموذج MaMI (المعرف الطبي المتكيف مع النمط).هذه طريقة جديدة لإعادة التعرف على الصور الطبية تكسر قيود النمط الفردي التقليدي من خلال تقديم محول معلمات نمط مستمر، بحيث يمكن تعديل نموذج موحد تلقائيًا إلى نموذج محدد للنمط مناسب للمدخلات الحالية (مثل الأشعة السينية، والتصوير المقطعي المحوسب، وقاع العين، وعلم الأمراض، والتصوير بالرنين المغناطيسي، وما إلى ذلك) في وقت التشغيل.

بفضل هذه الاستراتيجية، أثبت MaMI أداءً متطورًا في إعادة التعريف في التقييمات التي أجريت على 11 مجموعة بيانات تصوير طبي عام، مما يوفر دعمًا دقيقًا وديناميكيًا لاسترجاع بيانات التصوير التاريخية للطب الشخصي.

عنوان الورقة:
https://arxiv.org/pdf/2503.08173

عنوان المصدر المفتوح للكود والنموذج:
https://github.com/tianyuan168326/All-in-One-MedReID-Pytorch

أبرز ما جاء في البحث

اقتراح نموذج إعادة التعريف الطبي الشامل (MaMI)

ولأول مرة، قام فريق البحث ببناء نموذج يمكنه التعامل بشكل موحد مع مشكلة إعادة التعرف على الصور الطبية من وسائل متعددة، واستخدم نموذجًا واحدًا لتحقيق التعرف على صور وسائل مختلفة (مثل الأشعة السينية، والتصوير المقطعي المحوسب، وقاع العين، وعلم الأمراض، والتصوير بالرنين المغناطيسي، وما إلى ذلك).

بناء معيار شامل لإعادة تحديد الهوية الطبية

قام فريق البحث ببناء معيار شامل وعادل على 11 مجموعة بيانات تصوير طبي عام تغطي طرق تصوير متعددة وأعضاء مختلفة، مما يوفر منصة تقييم موحدة للأبحاث اللاحقة حول هذه القضية.

تصميم محول معلمات النمط المستمر (ComPA)

اقترح فريق البحث بشكل مبتكر محول معلمات نمطية مستمرة، والذي يمكنه إنشاء معلمات نمطية محددة بشكل ديناميكي استنادًا إلى صورة الإدخال، وبالتالي ضبط النموذج الأصلي المستقل عن النمط إلى نموذج نمطي محدد يتكيف مع خصائص الإدخال الحالية.

دمج المعرفة الطبية السابقة

ومن خلال نمذجة الاختلافات بين الصور، نقل فريق البحث المعرفة الطبية السابقة الغنية في النموذج الطبي الأساسي المدرب مسبقًا إلى مهمة إعادة التعريف، مما أدى إلى تحسين قدرة النموذج على التقاط أدلة الهوية الدقيقة بشكل فعال.

التحقق من قيمة التطبيق في السيناريوهات الفعلية

* التشخيص بمساعدة البيانات التاريخية: يمكن لـ MaMI استرجاع معلومات المريض الشخصية من بيانات التصوير التاريخية غير المنظمة، وبالتالي تحسين دقة الفحوصات الطبية الحالية بشكل كبير؛

* حماية الخصوصية: يمكن لـ MaMI اكتشاف معلومات التعريف الدقيقة في الصور وإزالتها تلقائيًا قبل مشاركة البيانات، مما يضمن الحفاظ على المعلومات الطبية الضرورية مع حماية خصوصية المريض.

هندسة النموذج: تقديم محول المعلمات استنادًا إلى الوضع المستمر

هناك تحديان رئيسيان في مجال إدارة الصور الطبية: إدارة الصور التاريخية وحماية الخصوصية.

أولاً،تعتمد الطرق التقليدية بشكل أساسي على ربط الصور مسبقًا يدويًا ببيانات المريض الوصفية (مثل الاسم ورقم السجل الطبي) واسترجاع الصور من خلال أنظمة الاستعلام. ولكن عندما يتم تخزين البيانات على منصات PACS مختلفة،غالبًا ما تكون هذه الروابط غير كاملة أو غير دقيقة، مما يجعل إدارتها بكفاءة أمرًا صعبًا.ومن ثم، هناك حاجة ماسة إلى إيجاد طريقة يمكنها استرجاع الصور التاريخية للمرضى بدقة من بيانات متناثرة وغير منظمة بشكل جيد لتوفير أدلة تاريخية موثوقة لتشخيص المرض.

ثانيًا،في الوقت الحالي، تركز معظم تدابير حماية الخصوصية فقط على إزالة المعلومات الصريحة (مثل اسم المريض). ومع ذلك، فقد وجدت الدراسات أنوتوجد أيضًا أدلة بصرية دقيقة في الصور يمكنها الكشف عن هوية المريض.يجب أن يكون نموذج إعادة التعرف على الصور الطبية المثالي قادرًا على اكتشاف المناطق المرتبطة بالهوية في الصورة تلقائيًا وجعل هذه المناطق غير قابلة للتعرف عليها من خلال المعالجة اللاحقة المناسبة، وبالتالي تقليل خطر تسرب الخصوصية بشكل فعال مع ضمان التطبيق العملي للبيانات طبيًا.

واستجابة للتحديات المذكورة أعلاه، ورغم أن عددا قليلا من الدراسات بدأت في استكشاف مشكلة إعادة التعرف على الصور الطبية، فإن معظم العمل يقتصر على وسائل محددة. وتشمل الدراسات الحالية ما يلي:

* فوكوتا وآخرون. وسينغ وآخرون. استخدام ميزات منخفضة المستوى لإجراء التعرف على الهوية على صور قاع العين؛

*باكهاوزر وآخرون. تم استخدام الشبكات العصبية لتحقيق إعادة التعرف على صور الأشعة السينية للصدر.

تم تصميم كل هذه الأساليب لنمط واحد، ومن الصعب الاستفادة من المزايا التكميلية للبيانات متعددة الأنماط. وفي الوقت نفسه، فإنهم يستخدمون بشكل أقل المعلومات الطبية السابقة، مما يحد من قدرة النموذج على التعميم.

بشكل عام، لا تزال الأبحاث الحالية في مجال إعادة التعرف على الصور الطبية في بداياتها.هناك حاجة ملحة لتطوير حل موحد قادر على دمج المعلومات المتعددة الوسائط مع الأخذ في الاعتبار إدارة الصور التاريخية وحماية الخصوصية.

يتضمن مشروع MaMI، الذي اقترحه مختبر الذكاء الاصطناعي في شنغهاي بالتعاون مع عدد من الجامعات، ابتكارين رئيسيين. الطريقة الأولى هي تحقيق استخراج الميزات التكيفية للوسائط من خلال ترقية نموذج مستقل عن الوسيلة إلى نموذج خاص بالوسيلة في وقت التشغيل. والثاني هو تحسين النموذج من خلال نقل المعلومات الطبية المسبقة الغنية في النموذج الطبي الأساسي إلى مهمة إعادة التعريف الطبي، مما يجعله أكثر تركيزًا على المجالات ذات الصلة بالطب.

كما هو موضح في الشكل التالي (أ)،قدم الباحثون محول المعلمات القائم على الوضع المستمر (ComPA)تكييف نموذج مستقل عن النمط بشكل ديناميكي مع نموذج مناسب لنمط الإدخال الحالي في وقت التشغيل. يقوم النموذج المعدل باستخراج السمات المرئية المتعلقة بالهوية من الصورة الطبية المدخلة، كما هو موضح في الشكل (ب) أدناه. أثناء عملية التحسين، قام الباحثون بمحاذاة الاختلافات الرئيسية بين الصور.نقل المعرفة الطبية السابقة الغنية من نماذج الأساس الطبي (MFMs) إلى مهام إعادة التعريف الطبي،كما هو موضح في الشكل (ج) أدناه.

محول المعلمات القائم على الوضع المستمر (ComPA)

من أجل التقاط الميزات المحددة لمختلف وسائل التصوير الطبي، وجد الباحثون أن مجرد ضبط النموذج الموحد من الصعب إبراز مزايا كل وسيلة (كما هو موضح في الجدول 1)، لذلك هناك حاجة إلى استخراج الميزات التكيفية للوسيلة. ولتحقيق هذه الغاية، صممت وحدة ComPA، التي تولد بشكل ديناميكي معلمات نموذجية خاصة بصورة الإدخال في وقت التشغيل من خلال التمثيل النمطي المستمر والتنبؤ بالمعلمات منخفضة الرتبة، مما يعوض بشكل فعال عن نقص المعلومات الخاصة بالنمط في النموذج الموحد.

نقل الخبرات الطبية السابقة من نماذج الأساس الطبي إلى نماذج ReID

إن الاعتماد ببساطة على فقدان إعادة التعريف قد يتسبب في تركيز النموذج بشكل كبير على القوام التافه (مثل ضوضاء المعدات) وتجاهل الخصائص البيولوجية الجوهرية للمريض. في المقابل، تركز نماذج الأساس الطبي (MFMs) المدربة مسبقًا على صور طبية واسعة النطاق على الهياكل التشريحية، مما يوفر معلومات طبية مسبقة أكثر ثراءً للتعرف على الهوية.قام الباحثون بنقل معرفتهم السابقة إلى نموذج إعادة التعريف واستخدموا خرائط المعالم المحلية لتوجيه النموذج.

لسد الفجوة بين مهمة التدريب المسبق لـ MFMs ومهمة MedReID، تم اقتراح استراتيجيتين:

أولا هوالاختيار التكيفي للهياكل الرئيسية. الباحثون أولايتم عرض السمات النموذجية للصورة في مجموعة من رموز الاستعلام الخاصة بالنموذج والتي يمكنها التقاط معلومات هيكلية رئيسية في كل نموذج، مثل ملامح الأعضاء في الأشعة السينية للصدر أو توزيع الأوعية الدموية في صور قاع العين. وبعد ذلك، تتم مطابقة رموز الاستعلام هذه مع خرائط الميزات المحلية من خلال آلية الاهتمام المتبادل، وبالتالي تحقيق التحديد الدقيق للميزات الدلالية الطبية الرئيسية.بالمقارنة مع استخدام كافة معلومات الميزات، فإن استخراج الهياكل الرئيسية يقلل من خطر الإفراط في التجهيز.

الثاني هو التعلم المسبق المبني على البقايا البنيوية.على عكس الطريقة التقليدية لمحاذاة الميزات بشكل مباشر، يقوم الباحثون بمحاذاة ميزات الاختلافات بين الصور واستخدام فقدان التباين لمعرفة الاختلافات الدقيقة بين الصور، وبالتالي تحسين قدرة النموذج على التقاط ميزات الهوية.

النتائج التجريبية: التحقق من القيمة في سيناريوهات التطبيق الفعلية

أول قائمة ReID الطبية

كما هو موضح في الجدول أدناه، قام الباحثون بتقييم النموذج الأساسي البصري، ونموذج الأساس اللغوي البصري، ونموذج إعادة التعريف، والنموذج الأساسي الطبي، ونموذج MedReID أحادي النمط. ومن أجل تحفيز إمكاناتهم بالكامل وضمان المقارنة العادلة، قاموا بضبط النماذج التمثيلية.تظهر النتائج أن MaMI يحقق باستمرار أداء SOTA في اختبارات متعددة.

سيناريو التطبيق 1: الاسترجاع الآلي للحالات التاريخية لدعم الطب الدقيق

في السيناريوهات الفعلية، مع الأخذ في الاعتبار الإدارة السيئة لصور المرضى الطبية في الماضي،واقترح فريق البحث استخدام MaMI لاسترجاع الصور التاريخية المتعلقة بالصورة الحالية، ودمج ميزات الصور التاريخية المتعددة من خلال MLP بسيط للمساعدة في التشخيص والاعتماد فقط على معلومات الصورة.لا حاجة إلى علامات التاريخ.

عند استرجاع 5 صور تاريخية،وارتفع معدل دقة التشخيص من 77.34% إلى 80.12%، أي بزيادة قدرها 2.78%.نحن نوضح فعالية MaMI في الاستفادة من البيانات التاريخية في الأرشيفات غير المنظمة لتحسين الفائدة السريرية؛ وتظهر التجارب المقارنة الإضافية أن نهجنا يتفوق باستمرار على الطرق القائمة على المظهر (DINOv2)، والقائمة على الأعراض (Med-Unic)، وطرق ReID بالأشعة السينية المصممة خصيصًا للأشعة السينية (Packhauser et al.) في أداء استرجاع الصور.

سيناريو التطبيق 2: حماية الخصوصية الآلية للمساعدة في ضمان السلامة الأخلاقية في عصر النماذج الكبيرة

استخدم الباحثون نموذج U-Net بسيطًا للتنبؤ بالسمات المرئية المرتبطة بالهوية وإزالتها في الصور، وقدموا نموذج الهوية الخاص به باعتباره فقدان تشابه الهوية.يؤدي هذا إلى تقليل تشابه سمات الهوية مع الحفاظ على تشابه السمات الطبية مرتفعًا.تظهر نتائج التدريب على مجموعة بيانات MIMIC-X والتقييم على مجموعة بيانات Chest-X أن الصور المحمية يمكنها مقاومة هجمات إعادة التعريف بينما تكون دقة تصنيف المرض أقل قليلاً من دقة الصور الأصلية. وتظهر النتائج في الجدول التالي:

خاتمة

يوحد نموذج MaMI مهام إعادة تحديد هوية الصور الطبية وحماية الخصوصية، ويحسن بشكل كبير الأداء العام لاسترجاع الصور التاريخية وحماية معلومات الهوية. إن التأثير المعزز لـ MaMI مدعوم بتحليل نظري قوي وتحقق تجريبي شامل. نحن نعتقد أن محول معلمات الوضع المستمر المبتكر وتصميمه الذي يدمج المعرفة الطبية السابقة يوفر نموذجًا جديدًا لإدارة الصور الطبية متعددة الوسائط ومن المتوقع أن يلهم تطوير تقنيات معالجة الصور الأكثر تقدمًا للتشخيص والعلاج الشخصي وحماية الخصوصية.

بالإضافة إلى ذلك، يقوم فريق تقييم النماذج الكبير الذي تم إنشاؤه حديثًا في مختبر الذكاء الاصطناعي في شنغهاي بتجنيد المتدربين. يمكن للأصدقاء المهتمين النقر على هذه المقالة لعرض التفاصيل، أو إرسال سيرتك الذاتية مباشرة إلى tianyuan@pjlab.org.cn.