الأداء يتفوق بشكل كبير على أداء طراز سلسلة SAM. قامت جامعة زيورخ وآخرون بتطوير نموذج أساسي عام لتقسيم الأوعية الدموية ثلاثي الأبعاد، والذي تم اختياره لـ CVPR 2025.
إذا ما قورن جسم الإنسان بمدينة ضخمة، فإن الأوعية الدموية هي بلا شك "طرق" هذه المدينة. الشرايين والأوردة والشعيرات الدموية تتوافق مع الطرق السريعة والطرق الحضرية والطرق الريفية. تعمل هذه الأعضاء معًا لنقل العناصر الغذائية والأكسجين وما إلى ذلك إلى أجزاء مختلفة من الجسم عبر الدم، وبالتالي الحفاظ على التشغيل الفعال والمستقر لهذه "المدينة". وعندما تظهر مشاكل في هذه الطرق، فمن الطبيعي أن تصاب أجساد الناس بالأمراض.
يعد تقسيم الأوعية الدموية وسيلة مهمة للتحقق من وجود مشاكل في هذه "الطرق". كما هو الحال مع اكتشاف المشاكل من خلال صور المرور في البناء الحضري، فهي مهمة أساسية في معالجة الصور الطبية.يمكن لتقسيم الأوعية الدموية تحديد واستخراج بنية الأوعية الدموية من الصور الطبية بدقة.يمكن تطبيقه على تحليل وتشخيص وعلاج أمراض الأوعية الدموية المختلفة. على سبيل المثال، في أمراض القلب والأوعية الدموية، تساعد عملية تقسيم الشرايين التاجية الأطباء على تقييم درجة تضيق الأوعية الدموية وبالتالي صياغة خطط العلاج المناسبة للمرضى.
وفي السنوات الأخيرة، شهد تقسيم الأوعية الدموية تقدماً كبيراً بمساعدة تكنولوجيا الكمبيوتر والتصوير الطبي. ومع ذلك، فإن تقسيم الأوعية المتصلة بالكامل بدقة وقوة يظل مشكلة صعبة عند مواجهة التصوير المحدد للمهمة، وخاصة في تقسيم الأوعية الدموية ثلاثي الأبعاد. ومن ناحية أخرى، يرجع ذلك إلى محدودية الأوعية الدموية نفسها. إن الأشكال الهندسية المعقدة والصغيرة للأوعية الدموية تؤدي إلى زيادة مفاجئة في صعوبة تجزئتها.ومن ناحية أخرى، هناك فجوات كبيرة في المجال ناجمة عن قيود طرق التصوير والبروتوكولات، ونسب الإشارة إلى الضوضاء المحددة، والأنماط الوعائية، والتحف التصويرية، والتغيرات في الأنسجة الخلفية.
على الرغم من وجود العديد من طرق تقسيم الصور الطبية استنادًا إلى نماذج أساسية، مثل SAM (نموذج تقسيم أي شيء) وSAM-Med3D وVISTA3D للصور الطبية ثلاثية الأبعاد،ومع ذلك، لا تزال هذه النماذج تعاني من قيود في مهمة تقسيم الأوعية.لذلك، تظل عملية تقسيم الأوعية الدموية ثلاثية الأبعاد مهمة تتطلب جهدًا مكثفًا من جانب الطاقم الطبي والباحثين، وتتطلب شرحًا يدويًا مكثفًا على مستوى الفوكسل لتحقيق تحليل دقيق للصور الوعائية.
ولمعالجة هذه المشكلة، اقترح فريق من جامعة زيورخ والمعهد الفيدرالي السويسري للتكنولوجيا في زيورخ والجامعة التقنية في ميونيخ نموذجًا أساسيًا للسفينة FM مصممًا خصيصًا لتجزئة الأوعية ثلاثية الأبعاد. يتم تدريب النموذج على مجموعة بيانات واسعة النطاق (Dreal) والبيانات الاصطناعية التي تم إنشاؤها عبر التوزيع العشوائي للمجال (Ddrand) ونموذج توليدي يعتمد على مطابقة التدفق (Dflow).يمكنه تحقيق قدرات التجزئة والتعميم التي تتفوق على النماذج المتقدمة الموجودة في سيناريوهات طلقة صفرية، وطلقة واحدة، وطلقات قليلة.
تم نشر البحث ذي الصلة تحت عنوان "vesselFM: نموذج أساسي لتجزئة الأوعية الدموية ثلاثية الأبعاد العالمية" وتم اختياره لـ CVPR 2025.
أبرز الأبحاث:
تقترح الدراسة نموذجًا أساسيًا عالميًا لتجزئة الأوعية الدموية ثلاثية الأبعاد مع إمكانيات التعميم والصفر، والذي يمكن استخدامه "جاهزًا للاستخدام" من قبل الباحثين والطاقم الطبي
* قام الفريق بتنظيم أكبر مجموعة بيانات لتقسيم الأوعية ثلاثية الأبعاد، بما في ذلك صور الأوعية ثلاثية الأبعاد الحقيقية التي تمت معالجتها بعناية وتعليقات توضيحية مطابقة على مستوى الفوكسل
* تقترح الدراسة استراتيجية عشوائية دقيقة لتقسيم الأوعية الدموية ثلاثية الأبعاد وتدخل مطابقة التدفق في توليد الصور الطبية ثلاثية الأبعاد.
عنوان الورقة:
https://go.hyper.ai/lVad9
مجموعة البيانات: 3 مصادر بيانات غير متجانسة
استخدم الباحثون ثلاثة مصادر بيانات غير متجانسة لتدريبه.الأول هو مجموعة بيانات Dreal (بيانات حقيقية متنوعة) تحتوي على بيانات حقيقية مختلفة؛ الثاني هو مصدرين للبيانات الاصطناعية،إنها مجموعة بيانات المجال العشوائية Ddrand (التوزيع العشوائي للمجال) والبيانات التي تم جمعها من نموذج التوليد القائم على مطابقة التدفق Dflow (القائم على مطابقة التدفق).
في،Dreal هي أكبر مجموعة بيانات حقيقية تم استخدامها في مهام تقسيم الأوعية الدموية ثلاثية الأبعاد حتى الآن.مجموعة واسعة من وسائل التصوير التي تغطي مناطق تشريحية مختلفة من الكائنات الحية المختلفة،يحتوي على أكثر من 115000 رقعة ثلاثية الأبعاد من أشكال 128³ من 17 مصدرًا للتعليق التوضيحي.وعلى وجه التحديد، يشمل التصوير السريري الشامل التصوير بالرنين المغناطيسي، والتصوير المقطعي المحوسب، والأشعة السينية، والمجهر ثنائي الفوتون، والمجهر الإلكتروني الفوتوني، وتأتي العينات البيولوجية من الدماغ والكلى والكبد لدى البشر والفئران التجريبية، والتي توفر أنماط وعائية ذات خصائص بنيوية ووظيفية مختلفة للبحث. كما هو موضح في الشكل أدناه.
نظرة عامة على مجموعة بيانات Dreal (23 إحصائية لمجموعة البيانات، بما في ذلك 4 مجموعات بيانات للتحقق)
ثم نظر الباحثون إلى أنواع مختلفة من الأنسجة، وطرق التصوير، والبروتوكولات.وينقسم Dreal أيضًا إلى 23 مجموعة بيانات.يتم معالجة كل مجموعة بيانات مسبقًا، وأخيرًا يتم استخراج البقع ذات الشكل المستهدف 128³ من الصور والملصقات المقابلة لها.
مثال على رسم بياني للبيانات
قام الباحثون بتقديم استراتيجية عشوائية للمجال لإنشاء Ddrand، كما هو موضح في الشكل أدناه. تعمل هذه الطريقة على توليد عدد كبير من أزواج الصور والأقنعة الاصطناعية المتنوعة من خلال تطبيق سلسلة من التحولات المكانية والتحف الاصطناعية على بيانات الأوعية الدموية الحقيقية، وبالتالي تحسين قوة النموذج للبيانات الحقيقية.على وجه التحديد، يمكن تقسيمها إلى ثلاث خطوات، وهي توليد المقدمة، وتوليد الخلفية، ودمج الخلفية.
الشكل أ هو مخطط تخطيطي لخط أنابيب توليد النطاق العشوائي المستخدم لتوليد Ddrand؛ الشكل ب هو مثال للرسم التخطيطي
في مرحلة توليد العملاء المحتملين،استخدم الباحثون 1137 رقعة وعائية ذات شكل 250³ قدمها فيتمان وآخرون. كأساس للقناع الاصطناعي.يتم الحصول على هذه اللويحات الوعائية من التمثيلات الرسومية لقوالب التآكل ذات الدقة العالية.
النهج الرئيسي الذي يتبناه الباحثون هو توليد مجموعة واسعة من الأنماط الوعائية الواقعية من خلال التحولات المكانية مثل القص العشوائي، والتقليب، والتمدد والتغيير في الحجم، والتشوه المرن العشوائي، والتنعيم الثنائي. بعد ذلك، قام الباحثون بمحاكاة العديد من القطع الأثرية الموجودة في المقدمة في الصور الوعائية الحقيقية من خلال تحديد تحويلات القطع الأثرية مثل حقل التحيز، والضوضاء الغاوسية، والتنعيم الغاوسي، والتسرب، والإزاحة، والتشويش، وما إلى ذلك.
في مرحلة توليد الخلفية،قام الباحثون بإنشاء نماذج لصور خلفية تحتوي على مجموعة متنوعة من الأشكال الهندسية الخلفية ذات القوام المختلفة.هناك ثلاثة أشكال رئيسية: الكرة (كرات غير متداخلة)، ومتعدد السطوح (يتم تقسيم الصورة إلى مناطق متعددة السطوح باستخدام فورونوي)، والصورة الهندسية بدون أي خلفية.
في مرحلة الاندماج الخلفية،قام الباحثون بدمج المقدمة في الخلفية عن طريق الجمع والطرح للوحدات أو عن طريق استبدال قيم شدة الخلفية بقيم شدة القناع.لتوسيع نطاق الصورة، قام الباحثون بتعزيز الصورة بشكل مستمر من خلال مجال التحيز العشوائي، وأضافوا ضوضاء غاوسية، وطبقوا ذروات محلية عشوائية في مساحة k، وضبطوا تباين الصورة بشكل عشوائي، وأجروا تنعيمًا غاوسيًا على قيم σ فردية أو مشتركة لجميع الأبعاد المكانية، وأضافوا ضوضاء ريكية وضوضاء جيبس، وأجروا شحذًا غاوسيًا عشوائيًا، وحولوا الهيستوغرام الكثافة بشكل عشوائي، وحصلوا أخيرًا على الصورة الاصطناعية Xdrand (كما هو موضح في الشكل ب أعلاه).
من أجل إثراء توزيع البيانات الحقيقية Dreal بشكل أكبر، قام الباحثون بتدريب وأخذ عينات من نموذج التوليد الشرطي F استنادًا إلى Flow Matching لتوليد مصدر بيانات ثالث Dflow. كما هو موضح في الشكل أدناه.
مخطط توزيع لثلاثة مصادر بيانات: Dreal (الظل الأزرق)، وDflow (الظل الأحمر)، وDdrand (الظل الرمادي)
هندسة النموذج: تقديم نماذج توليدية عميقة واستراتيجيات عشوائية المجال
إجمالي،يعد vesselFM نموذجًا أساسيًا عامًا مصممًا خصيصًا لتجزئة الأوعية الدموية ثلاثية الأبعاد والذي يمكنه تقسيم الأوعية الدموية ثلاثية الأبعاد بدقة في مجموعة متنوعة من الوسائط وأنواع الأنسجة.أثناء عملية تصميم النموذج، قام الباحثون بتدريبه من خلال ثلاثة مصادر بيانات غير متجانسة لتحقيق قدراته القوية على التجزئة والتعميم.
نظرة عامة على تدريب وتطبيق vesselFM
وفي هذه العملية، قدم الباحثون خطوتين رئيسيتين:وهما نموذج التوليد العميق واستراتيجية التوزيع العشوائي للمجال على التوالي.يتناول قسم مقدمة مجموعة البيانات أعلاه استراتيجية التوزيع العشوائي للمجال. يركز هذا القسم على النموذج التوليدي العميق المستخدم لإنشاء مجموعة بيانات Dflow.
تُعد النماذج التوليدية العميقة وسيلة مهمة لتوليد الصور الطبية الاصطناعية، وتعتمد بشكل أساسي على نموذج الانتشار، والذي يُستخدم لتوليد كميات كبيرة من البيانات الاصطناعية عالية الدقة. من أجل إجراء مهام التجزئة على هذه البيانات، هناك حاجة إلى مطابقة دقيقة لأزواج الصورة والقناع. تم تصميم طرق مثل Med-DDPM و SegGuidedDiff لمواجهة هذا التحدي.إنهم يقومون بدمج التكييف الدلالي عن طريق ربط أقنعة التجزئة حسب القناة في مدخلات النموذج، مما يؤدي إلى أزواج من الصور والأقنعة التي تلتزم بالقيود التشريحية المتسقة.تم تصميم الأول خصيصًا لتصوير الدماغ ثلاثي الأبعاد، في حين تم تصميم الأخير لإنشاء تصوير الثدي بالرنين المغناطيسي ثنائي الأبعاد والتصوير المقطعي المحوسب للبطن.
في هذه الدراسة،اتخذ الباحثون نهجًا مختلفًا عن نموذج الانتشار واستخدموا نهج النمذجة التوليدية المسمى "مطابقة التدفق".يقوم بإنشاء عينات جديدة من خلال تعلم عملية التحويل المستمر للبيانات من توزيع معروف إلى توزيع مستهدف، مما يظهر أداءً متفوقًا على الصور الطبيعية مقارنة بنموذج الانتشار.
على وجه التحديد في الدراسة، يستخدم النموذج التوليدي F شبكة ذات معلمات θ لتمثيل مجال السرعة المعتمد على الوقت v، ثم يقوم بربط العينة x₀~N(0,I) بالعينة x₁ لتوزيع البيانات من خلال معادلة تفاضلية عادية (ODE). وفي الوقت نفسه، من أجل تدريب النموذج F، قام الباحثون أيضًا بتحسين هدف مطابقة التدفق لتقليل الخسارة في مقياس الوقت بين سرعة التنبؤ وسرعة القيمة الحقيقية للعينة.
بالإضافة إلى ذلك، يعتمد نموذج التدريب F أيضًا على شروط القناع والفئة،يتم تحقيق تكييف القناع عن طريق ربط قنوات القناع بصورة الإدخال xₜ.أضاف الباحثون تضمينات الفئة إلى التضمينات الزمنية لدمج معلومات الفئة، والتي تم حقنها بعد ذلك في طبقة الميزة الوسيطة عن طريق الإضافة. لتوليد Dflow، قام الباحثون أخيرًا بتقسيم x₁ من خلال تكامل أويلر لعينة عدد كبير من صور Xflow، كما هو موضح في الشكل أدناه.
يوضح الشكل (أ) عملية أخذ العينات استنادًا إلى مطابقة التدفق؛ يوضح الشكل ب مخططًا كمثال
النتائج التجريبية: الأداء أفضل من النموذج الأكثر تقدمًا الحالي
من أجل التحقق من صحة وموثوقية السفينة FM،أجرى الباحثون تقييمًا مقارنًا.وأظهرت قدراتها على التجزئة في سيناريوهات العينة الصفرية والعينة الفردية والعينات القليلة.
خاصة،تم استخدام أربع مجموعات بيانات سريرية في مرحلة التحقق: SMILE-UHURA، وMSD8، وOCTA، وBvEM.نقوم باستخراج ثلاث رقع من الشكل 128³ من مجموعات بيانات التقييم هذه ونستخدمها لتحديد مهام التجزئة ذات اللقطة الواحدة والقليلة على رقعة واحدة أو كل الرقع الثلاث لضبط النموذج. يتم استخدام البيانات المتبقية للاختبار والتحقق. بالنسبة للتقييم بدون لقطة، يتم تطبيق النموذج مباشرة على بيانات الاختبار دون ضبط دقيق مسبق.
وفي الوقت نفسه، تم استخدام 4 نماذج أساسية مصممة خصيصًا لتجزئة الأوعية الدموية ثلاثية الأبعاد كأشياء للمقارنة.وهي: tUbeNet، VISTA3D، SAM-Med3D، وMedSAM-2.
باستخدام بطاقة معالجة رسومية واحدة من نوع NVIDIA RTX A6000، قام الباحثون بأخذ عينات من 10000 قناع صورة من النموذج F وإنشاء Dflow في 3 أيام. لإدارة Ddrand، قمنا بأخذ عينات من 500000 زوج من الصور والأقنعة من خط أنابيب توليد العشوائية للمجال، كل منها له شكل 128³. يتم تعيين أوزان مصادر البيانات الثلاثة المستخدمة تقريبًا وفقًا لأحجامها، وهي Ddrand (70%)، وDreal (20%)، وDflow (10%).
وتظهر النتائج المحددة في الشكل أدناه. يُظهر vesselFM تعميمًا ممتازًا وأداءً متفوقًا على جميع مجموعات البيانات والمهام الأربع.في مهمة اللقطة الصفرية، على مجموعة بيانات MSD8، كانت درجة Dice لـ vesselFM أعلى بمقدار 5.86 نقطة من درجة VISTA3D (تم تدريب VISTA3D على 11454 بيانات CT، والتي تتضمن بدورها بيانات من MSD8)، مما يسلط الضوء بشكل أكبر على التحيز الاستقرائي القوي لـ vesselFM.
نتائج المقارنة على 4 مجموعات التحقق
على النقيض من ذلك، لا يعمل نموذج تقسيم الأوعية الدموية ثلاثي الأبعاد العام tUbeNet بشكل جيد في طرق التصوير الأكثر تعقيدًا، والنموذجان الآخران لتقسيم الأوعية الدموية العامان SAM-Med3D وMedSAM-2 غير قادرين على تقسيم الأوعية في إعداد اللقطة الصفرية. ومن الجدير بالذكر أنه في مجموعة بيانات SMILE-UHURA، فإن درجات Dice وclDice لـ vesselFM في سيناريوهات اللقطات الصفرية تتجاوز حتى درجات النموذج الأساسي في سيناريوهات اللقطات القليلة.تظهر النتائج النوعية قدرة التعميم المتفوقة لـ vesselFM في سياقات اللقطة الصفرية دون المعاناة من التحيزات الخاصة بالمعلق.كما هو موضح في الشكل أدناه.
نتائج التصور على بعض مجموعات التحقق
التعلم العميق يفتح طريقًا جديدًا لأبحاث تقسيم الأوعية الدموية
باختصار، لا شك أن الأبحاث المتعلقة بـvesselFM قد عززت تقدم أبحاث تقسيم الأوعية الدموية ثلاثية الأبعاد، وقدمت مسارًا جديدًا لعلاج وأبحاث أمراض الأوعية الدموية، ومن المتوقع أن تعزز ولادة وتطبيق أدوات متقدمة جديدة، وفي النهاية تحقيق هدف الاستفادة من المرضى.
لحسن الحظ،ولا تعد شركة vesselFM وحدها في هذا المسعى.مع تطور تكنولوجيا التعلم العميق والوفرة المتزايدة للبيانات الطبية، أصبح معالجة الصور الطبية من خلال الذكاء الاصطناعي اتجاهًا مهمًا للإصلاح الطبي الحديث. يتجه عدد متزايد من المختبرات ومؤسسات البحث إلى هذا المجال، على أمل حل تحديات أمراض الأوعية الدموية التي تواجه البشرية من خلال أبحاثهم الخاصة.
على سبيل المثال، نشر فريق من الأكاديمية الصينية للعلوم دراسة بعنوان "VesselSAM: الاستفادة من SAM لتقسيم الأوعية الدموية الأبهرية باستخدام LoRA والانتباه الأبهر". واقترحت الدراسة نسخة محسنة من SAM، تسمى VesselSAM.تم تصميمه خصيصًا لتجزئة الأوعية الدموية الأبهرية.يدمج النموذج وحدة الاهتمام بالفتحة والتكيف منخفض الرتبة (LoRA).تم تناول القيود الرئيسية لـ SAM وتم تعزيز قدرتها على التقاط السمات الهرمية المعقدة في الصور الطبية.
عنوان الورقة:https://arxiv.org/abs/2502.18185
نشر فريق من جامعة شنغهاي جياو تونغ في الصين، بالتعاون مع فرق من مستشفى شنغهاي الشعبي الأول، وجامعة كوينز بلفاست وجامعة ولاية لويزيانا، دراسة بعنوان "تجزئة الأوعية الدموية ذاتية الإشراف من خلال التعلم التنافسي".تقترح هذه الدراسة تدريب مولدين من خلال التعلم التنافسي، أحدهما مولد موجه بالانتباه والآخر مولد تجزئة.دعهم يقومون بتجميع الأوعية الدموية المزيفة وتقسيم الأوعية الدموية من صور تصوير الأوعية التاجية، وبالتالي تعلم التمثيل المميز للأوعية الدموية. وقد تم اختيار هذه الورقة أيضًا لـ CVPR 2021.
كما نشر فريق من جامعة لشبونة في البرتغال وفريق من الجامعة الكاثوليكية في البرتغال أبحاثًا حول تقسيم الأوعية الدموية.وقد اقترحوا 3DVascNet، وهو برنامج تقسيم وتقدير تلقائي لشبكة الأوعية الدموية الشبكية ثلاثية الأبعاد تم تطويره استنادًا إلى التعلم العميق.لا يحقق البرنامج تقسيمًا دقيقًا للأوعية الدموية فحسب، بل يمكنه أيضًا تحديد معلمات القياس المورفولوجية الوعائية مثل كثافة الأوعية وطول الفرع ونصف قطر الوعاء وكثافة نقطة الفرع. والأهم من ذلك، أن هذا البرنامج مجاني.وفي الوقت نفسه، تعمل قدرتها القوية على التعميم على تعزيز قدرة الطاقم الطبي على دراسة الشبكات الوعائية ثلاثية الأبعاد.نُشر البحث ذو الصلة تحت عنوان "3DVascNet: برنامج آلي لتجزئة وقياس شبكات الأوعية الدموية للفأر ثلاثية الأبعاد".
عنوان الورقة:https://www.ahajournals.org/doi/10.1161/ATVBAHA.124.320672
باختصار، باعتبارها مهمة بالغة الأهمية والتحدي في معالجة الصور الطبية، لا تزال عملية تقسيم الأوعية الدموية تواجه العديد من المشاكل التي يتعين حلها، ولكن المحاولات المتكررة التي قام بها الباحثون أظهرت لنا بلا شك أن هذه المشاكل آخذة في الانهيار. والأمر الأكثر إقناعاً هو أنه في المستقبل القريب، ربما يتم التغلب تدريجياً على أمراض الأوعية الدموية مع تعمق تطبيق الذكاء الاصطناعي.