تعلم التمثيل المعزز بالدلالات من خلال الاكتشاف الذاتي، والتصنيف الذاتي، والاستعادة الذاتية

الصور الطبية مرتبطة بشكل طبيعي بمعاني غنية حول تشريح الإنسان، مما يظهر في وفرة الأنماط التشريحية المتكررة، مما يوفر إمكانات فريدة لتعزيز تعلم التمثيل الدلالي العميق وإنتاج نماذج دلالية أكثر قوة لمختلف التطبيقات الطبية. ومع ذلك، فإن كيفية الاستفادة من هذه المعاني القوية والمجانية المضمنة في الصور الطبية للتعلم الذاتي ما زالت محدودة الدراسة إلى حد كبير. بهدف تحقيق هذا، نقوم بتدريب النماذج العميقة على تعلم تمثيل بصري غني بالمعنى من خلال اكتشاف الذات، تصنيف الذات واستعادة الذات للتشريح الكامن تحت الصور الطبية، مما يؤدي إلى نموذج ثلاثي الأبعاد عام ومُعدّ مسبقًا ومُغَنًى بالمعنى، أسميناه "Semantic Genesis" (نشوء الدلالة). نفحص نموذجنا "نشوء الدلالة" مع جميع النماذج المُعدّة مسبقًا المتاحة للجمهور، سواءً عن طريق الإشراف الذاتي أو الإشراف الكامل، على ست مهام مستهدفة مختلفة تغطي كلًا من التصنيف والتقطيع في مختلف الوسائط الطبية (أي: التصوير المقطعي المحوسب CT، التصوير بالرنين المغناطيسي MRI، والأشعة السينية X-ray). تُظهر تجاربنا الواسعة أن "نشوء الدلالة" يتفوق بشكل كبير على جميع نظيراته الثلاثية الأبعاد وكذلك التعلم النقل المستند إلى ImageNet في البعد الثاني. ويُعزى هذا الأداء إلى إطار عمل التعلم الذاتي الجديد الخاص بنا، الذي يشجع النماذج العميقة على تعلم تمثيل دلالي مقنع من الأنماط التشريحية الغنية التي تنجم عن التشريح الثابت المضمن في الصور الطبية. يمكن الوصول إلى الرمز والموديل المُعدّ مسبقًا لـ "نشوء الدلالة" عبر الرابط: https://github.com/JLiangLab/SemanticGenesis .