تم اختياره لـ CVPR 2025! اقترح فريق جامعة شنتشن وآخرون جهاز EchoONE، الذي يمكنه تقسيم مخططات صدى القلب متعددة الأقسام بدقة

يعد الموت بسبب أمراض القلب والأوعية الدموية السبب الرئيسي للوفاة بين المقيمين الصينيين. أصبحت تخطيط صدى القلب واحدة من أكثر طرق فحص القلب استخدامًا في الممارسة السريرية نظرًا لمزاياها مثل عدم التدخل الجراحي والتكلفة المنخفضة والتصوير في الوقت الفعلي. في التشغيل الفعلي، يحتاج أطباء الموجات فوق الصوتية إلى مسح القلب من مواضع وزوايا مختلفة للحصول على صور الموجات فوق الصوتية لأقسام متعددة، ثم دمج الأقسام لتحليل بنية ووظيفة القلب، بما في ذلك تحديد محيط عضلة القلب وقياس حجم كل حجرة.

ومع ذلك، بسبب الاختلافات البنيوية الكبيرة بين الشرائح المختلفة، فإن نماذج التجزئة الحالية لديها قدرات تعميم ضعيفة على الرسوم البيانية متعددة الشرائح وعادة ما تحتاج إلى التخصيص بشكل فردي لكل شريحة محددة، مما يؤدي إلى ارتفاع تكاليف التطوير المتكرر. بالإضافة إلى ذلك، عندما يتم تطبيق نموذج قسم معين على أقسام أخرى، فإن الأداء غالبًا ما ينخفض بشكل كبير، مما يحد من الترويج له وتطبيقه في الممارسة السريرية.

ردًا على ذلك، اقترح فريق بحثي من مختبر الحوسبة التصويرية بالموجات فوق الصوتية الطبية (MUSIC) التابع لكلية الهندسة الطبية الحيوية، كلية الطب، جامعة شنتشن، والمختبر الوطني للهندسة للبيانات الضخمة بجامعة شنتشن، وقسم الموجات فوق الصوتية في مستشفى شنتشن الشعبي، نموذج التجزئة الموحد لتخطيط صدى القلب متعدد الأقسام EchoONE. يجمع النموذج بين تقنية الضبط الدقيق لنموذج SAM الكبير لتجزئة الصورة الطبيعية والمعرفة المسبقة لأقسام الموجات فوق الصوتية للقلب.يمكنه تقسيم بنية القلب في مخططات صدى القلب متعددة الأقسام بدقة، مما يقلل بشكل فعال من تعقيد نموذج التصميم.مساعدة الأطباء في تقييم وظائف القلب بشكل أكثر كفاءة.

تم اختيار البحث، الذي يحمل عنوان "EchoONE: تقسيم مستويات تخطيط صدى القلب المتعددة في نموذج واحد"، لمؤتمر IEEE/CVF لعام 2025 حول الرؤية الحاسوبية والتعرف على الأنماط (CVPR).

أبرز الأبحاث:

* تم تطوير نموذج موحد بنجاح يمكنه تقسيم مخططات صدى القلب متعددة المقاطع بدقة مع وجود اختلافات هيكلية كبيرة

* تم اقتراح وحدة تعلم قناع قابلة للتكوين مسبقًا (PC-Mask) لتوليد إشارات كثيفة واعية دلاليًا، وتم تقديم وحدة دمج وتكييف الميزات المحلية (LFFA) لتكييف بنية SAM. وهذا يجعل EchoONE يعمل بشكل جيد في معالجة أقسام مختلفة من مخططات صدى القلب مع توزيع بيانات مختلف بشكل كبير وحدود غير واضحة.

* أداء نموذج EchoONE أفضل من أداء العديد من النماذج الكبيرة الأخرى بناءً على الضبط الدقيق، كما أنه يحقق أفضل أداء في مجموعة الاختبار الخارجية

عنوان الورقة:
https://arxiv.org/abs/2412.02993

يجمع مشروع المصدر المفتوح "awesome-ai4s" أكثر من 200 تفسير لورقة AI4S ويوفر مجموعات بيانات وأدوات ضخمة:

https://github.com/hyperai/awesome-ai4s

مجموعة البيانات: 3 مجموعات بيانات عامة كبيرة + 22044 زوجًا خاصًا من الصور الموضحة

استخدمت هذه الدراسة مخططات صدى القلب متعددة المقاطع من مراكز متعددة.يتضمن مجموعات البيانات الخاصة والعامة.

تتضمن مجموعات البيانات العامة CAMUS، وHMC_QU، وEchoNet_Dynamic. CAMUS هي مجموعة بيانات الموجات فوق الصوتية للقلب المستخدمة على نطاق واسع في هذا المجال. يأتي هذا من مستشفيات متعددة في فرنسا ويتضمن بيانات القلب المكون من غرفتين (2CH) والقلب المكون من أربع غرف (4CH) لـ 500 حالة. تم إنشاء مجموعة بيانات HMC_QU بالتعاون بين مؤسسة حمد الطبية وجامعة تامبيري وجامعة قطر. تم إنشاء مجموعة بيانات EchoNet-Dynamic بواسطة جامعة ستانفورد. استخدمت هذه الدراسة مجموعة الاختبار الخاصة بها فقط لإجراء تجارب اختبار خارجية لتسهيل التحليل المقارن.

* تنزيل مجموعة بيانات صور الموجات فوق الصوتية للقلب CAMUS:
https://hyper.ai/cn/datasets/38453

* تنزيل مجموعة بيانات التصوير الطبي للقلب في HMC-QU:
https://hyper.ai/cn/datasets/38456

تم الحصول على مجموعة البيانات الخاصة من بيانات الموجات فوق الصوتية من العديد من المستشفيات التعاونية المحلية، بإجمالي 22044 زوجًا من التعليقات التوضيحية للصور، بما في ذلك ثلاثة أقسام أفقية مختلفة للقلب ذي الغرفتين (2CH)، والقلب ذي الثلاث غرف (3CH)، والقلب ذي الأربع غرف (4CH) والمحور القصير البطيني الأيسر القصي (PSAX).

هندسة النموذج: استنادًا إلى SAM، يتكون نموذج EchoONE من ثلاثة مكونات رئيسية

يتكون الإطار العام لـ EchoONE بشكل أساسي من ثلاثة مكونات: بنية التجزئة القائمة على SAM؛ مكون لتوليد مطالبات كثيفة؛ وفرع محلي مقره CNN لضبط وتكييف SAM.تم بناء هندسة الشبكة بأكملها على أساس SAM الأصلي.تحتوي على مشفرات صور تعتمد على المحول ومفككات أقنعة ومشفرات إشارات متفرقة ومشفرات أقنعة للإشارات الكثيفة.

بالإضافة إلى ذلك، قدم الباحثون وحدة دمج الميزات المحلية والتكيف (LFFA) في فرع ضبط جانب السلم (LST) لتعزيز قدرة SAM على التكيف مع مهام محددة. وفي الوقت نفسه، اقترحوا أيضًا وحدة تعلم قناع مسبق قابل للتكوين يعتمد على التجميع (PC-Mask) لتوليد إشارات كثيفة واعية دلاليًا. تفاصيل PC-Mask وLFFA هي كما يلي:

(أ) وحدة قناع الكمبيوتر

توفر تلميحات القناع الكثيفة لـ SAM معلومات أكثر ثراءً من تلميحات النقطة والمربع، كما يمكن لوحدة PC-Mask إنشاء تلميحات قناع عالية الجودة تلقائيًا. للتعامل مع تنوع الهياكل الدلالية على شرائح متعددة، قام الباحثون أولاً بتجميع الصور على شرائح مختلفة في مجموعات K في مساحة الميزة الكامنة. يتم استخدام مركز كل مجموعة كنموذج أولي للمجموعة في الفضاء الكامن. بصورة مماثلة،يمكن الحصول على قناع مركزي عن طريق حساب متوسط أقنعة الصور المخصصة للمجموعة.

باستخدام مراكز القناع هذه كهيكل مسبق،كان هدف الباحثين هو إنشاء تلميح كثيف لمنطقة عضلة القلب لكل صورة جديدة دون معلومات حول نوع الشريحة.بالنسبة لصورة الإدخال، يتم استخدام تشابهها (أو بعدها) مع هذه النماذج الأولية لتمثيل موقعها في الفضاء الكامن؛ ثم يتم استخدام التشابه كوزن لدمج هذه المراكز السابقة في تضمين مسبق متعدد القنوات، وأخيرًا يتم إدخالها في شبكة U-Net خفيفة الوزن، ويتم استخدام نتيجة الإخراج كموجه كثيف لـ SAM. يتم تقييد هذه العملية باستخدام خسارة النرد وخسارة BCE.

(ب) وحدة LFFA

من أجل الاستفادة الكاملة من قدرات SAM وتجنب إعادة التدريب وإهدار الموارد، هناك حاجة إلى فرع مساعد لضبط SAM للتكيف مع السيناريوهات الجديدة. قام الباحثون بتصميم فرع CNN قابل للتعلم، والذي يتكون من ثلاثة أجزاء: الأول هو الكتلة المتبقية لاستخراج الميزات المحلية؛ الثاني هو كتلة CNN لضبط الانتباه عبر الفروع لمشفر الصورة؛ الكتلة الثالثة هي كتلة محول دمج الميزات المحلية التي تعمل على تكييف فك تشفير القناع مع مهام محددة.

في فك تشفير القناع، بالإضافة إلى كتلتي المحول من SAM الأصلية،أضاف الباحثون أيضًا ثلاث كتل قابلة للتعلم،للتكيف مع اندماج الخصائص المحلية. يتم ربط الميزات المحلية لكل طبقة من كتل CNN في مشفر الصورة، والتي يتم ملاحظتها عبر الفروع، بكتل المحول المقابلة في فك تشفير القناع، ويتم دمج ميزات كل طبقة من خلال وحدة LFFA. وتظهر العملية أدناه.

الاستنتاج التجريبي: جهاز EchoONE دقيق وقوي في مهمة تقسيم المستويات المتعددة في تخطيط صدى القلب

أجرى الباحثون تجارب مكثفة باستخدام مجموعات البيانات الداخلية والخارجية.وهذا يثبت فعالية EchoONE.

المتانة للمهام متعددة الجوانب: يلخص الجدول التالي أداء النموذج في جوانب مختلفة من مجموعة الاختبار الداخلية. يمكن ملاحظة أن EchoONE يقارن النماذج بناءً على CNN وTransformer وSAM.وحققت أفضل النتائج من حيث متوسط مؤشرات Dice وIoU وHD95.

متانة هياكل القلب المختلفة: كما هو موضح في مخطط الرادار أدناه، بالمقارنة مع النماذج السابقة،حصل نموذج EchoONE على قيم Dice أعلى في كل بنية من هياكل القلب (الأذين الأيسر، البطين الأيسر، عضلة القلب).

المتانة في نقل البيانات عبر المركز:يوضح الشكل والجدول التاليان أن EchoONE يحقق أفضل أداء في مجموعة الاختبار المكونة من 5 مراكز داخلية.

التحقق الخارجي: كما هو موضح في الشكل أدناه، حتى مجموعتي الاختبار الخارجيتين اللتين لم يتم رؤيتهما أثناء التدريب،لا يزال EchoONE يظهر أداءً قويًا في التعميم.بالنسبة لـ HMC_QU مع الضوضاء الواضحة والصور ذات الجودة المنخفضة، يوفر EchoONE أيضًا درجة Dice 73.94%، مما يشير إلى إمكاناته الكبيرة في الممارسة السريرية الحقيقية.

التحليل البصري: من مقارنة نتائج التصور، يمكننا أيضًا أن نرى أنلا يوفر EchoONE مساحة تقسيم معقولة فحسب، بل يحقق أيضًا نتائج رائعة في تحسين المحيط.ويرجع ذلك إلى حقيقة أنه يولد نتائج تقسيم تقريبية لشرائح مختلفة، مما يدفع النموذج إلى التركيز على المنطقة وصقل الحدود، وبالتالي تحسين نتائج التقسيم.

نتائج تجربة الاستئصال: من أجل دراسة فعالية وحدات PC-Mask وLFFA بشكل أكبر في تحسين أداء النموذج، أجرى الباحثون تجارب الاستئصال على 5 مجموعات بيانات داخلية. ومن النتائج،تعمل هاتان الوحدتان على تحسين بنية SAM على التوالي من خلال الاستفادة من المعرفة السابقة ودمج الميزات المحلية بطريقة واعية دلاليًا.يتيح هذا لـ EchoONE تحقيق أداء دقيق وقوي لمشكلة تقسيم الشرائح المتعددة في تخطيط صدى القلب.

يمكن توسيع الدراسة لتشمل وسائل التصوير الطبي الأخرى

يهدف نموذج EchoONE إلى معالجة التحدي المعقد المتمثل في تجزئة الشرائح المتعددة من خلال تقديم وحدة مبتكرة لتعلم الإشارات الكثيفة، PC-Mask، والتي تستغل المعرفة البنيوية السابقة بطريقة قابلة للتكوين وتوفر إرشادات دلالية فعالة خاصة بالشريحة أثناء عملية التجزئة. بالإضافة إلى ذلك، اقترحت الدراسة فرعًا محليًا لشبكة CNN قابلًا للتعلم لتحسين مُشفِّر الصورة وتكييف مُفكِّك القناع. لم تعمل وحدة LFFA على تحسين الأداء النهائي فحسب، بل عملت أيضًا على تسريع سرعة التقارب.

هذا هو أول مخطط مقترح لتقسيم جميع أقسام مخطط صدى القلب بشكل فعال باستخدام نموذج قوي واحد، مما يبسط تطبيق تكنولوجيا الذكاء الاصطناعي في الممارسة السريرية.على الرغم من أنه تم التحقق من صحة هذا النهج حاليًا على صور الموجات فوق الصوتية فقط، إلا أنه لديه القدرة على التوسع إلى وسائل التصوير الطبي الأخرى للتعامل مع مشاكل التجزئة متعددة الشرائح. وفي المستقبل، سيركز الباحثون على تحسين قدرات التعميم لمزيد من الجوانب وبناء نماذج قوية لمقاطع الفيديو متعددة الأوجه.

ومن الجدير بالذكر أن المسؤول عن هذا المشروع البحثي، Xue Wufeng، هو من كلية الهندسة الطبية الحيوية، كلية الطب، جامعة شنتشن. أجرى فريقه منذ فترة طويلة أبحاثًا في مجال التصوير الطبي للقلب والذكاء الاصطناعي، بما في ذلك نمذجة بنية القلب ووظيفته وتدفق الدم، والنماذج القلبية الأساسية، والنماذج الرسومية الكبيرة، وما إلى ذلك. نرحب بالطلاب الزائرين، وطلاب ما بعد الدكتوراه، والباحثين، وما إلى ذلك للانضمام. يمكن للمهتمين الاتصال بالبروفيسور Xue Wufeng على "xuewf@szu.edu.cn".
* الصفحة الرئيسية الشخصية لـ Xue Wufeng:
https://bme.szu.edu.cn/info/116