كلمات مرئية قابلة للنقل: استغلال معاني الأنماط التشريحية للتعلم ذاتيًا بدون تسمية

يقدّم هذا البحث مفهومًا جديدًا يُسمّى "كلمات بصرية قابلة للنقل" (TransVW)، وذلك بهدف تحقيق كفاءة في التسمية (annotation) للتعلم العميق في تحليل الصور الطبية. تُنتج صور التصوير الطبي—التي تركّز على أجزاء محددة من الجسم لأغراض سريرية معيّنة—صورًا ذات تشابه كبير في البنية التشريحية بين المرضى، وتُظهِر أنماط تشريحية معقدة عبر الصور، وهي أنماط مرتبطة بمعاني غنية حول البنية التشريحية البشرية، وتُعدّ هذه الأنماط "كلمات بصرية طبيعية". نُظهِر أن هذه الكلمات البصرية يمكن استخلاصها تلقائيًا وفقًا للاتساق التشريحي من خلال عملية اكتشاف ذاتي، وأن الكلمات البصرية المُكتشفة ذاتيًا يمكن أن تُستخدم كإشارات تدريب قوية ومجانية للنماذج العميقة، لتعلم تمثيلات صورية عامة غنية بالمعاني من خلال التعلم ذاتيًا (التصنيف الذاتي وإعادة البناء الذاتي). تُظهر تجاربنا الواسعة كفاءة TransVW في التسمية، من خلال تحقيق أداءً أعلى وانطلاقًا أسرع مع تقليل تكلفة التسمية في عدة تطبيقات. يتميّز TransVW بعدة مزايا مهمة، منها: (1) أن TransVW هو نموذج تعلّم ذاتي بالكامل، يُستفيد من معاني الكلمات البصرية في التعلم ذاتي، ولا يتطلب أي تسمية من خبراء؛ (2) أن تعلّم الكلمات البصرية يُعدّ استراتيجية إضافية، تكمل الأساليب الحالية للتعلم ذاتي، وتعزز أداؤها؛ (3) أن التمثيل الصوري المُكتسب هو نموذج غني بالمعاني، وقد أُثبت أنه أكثر مقاومة وقابلية للتطبيق العام، مما يقلل من جهد التسمية في مجموعة واسعة من التطبيقات من خلال التعلم القابل للنقل. يمكن الوصول إلى الكود البرمجي، والنماذج المُدرّبة مسبقًا، والكلمات البصرية المُختارة عبر الرابط التالي: https://github.com/JLiangLab/TransVW.