آلية تعتمد على الانتباه لدمج الصور والبيانات الوصفية في نماذج التعلم العميق المطبقة على تصنيف سرطان الجلد

تُنتج أنظمة تصنيف سرطان الجلد المدعومة بالحوسبة، التي تُبنى باستخدام الشبكات العصبية العميقة، عادةً تنبؤات تعتمد فقط على صور البقع الجلدية. وعلى الرغم من النتائج الواعدة التي تُظهرها، فمن الممكن تحقيق أداءً أعلى من خلال أخذ البيانات الديموغرافية للمريض بعين الاعتبار، والتي تمثل أدلة مهمة يُراعيها الخبراء البشريون أثناء فحص البقع الجلدية. في هذا المقال، نتناول مشكلة دمج صور البيانات مع ميزات البيانات الوصفية باستخدام نماذج التعلم العميق في تصنيف سرطان الجلد. ونُقدّم "كتلة معالجة البيانات الوصفية" (MetaBlock)، وهي خوارزمية جديدة تستخدم البيانات الوصفية لدعم تصنيف البيانات من خلال تعزيز الميزات الأكثر صلة التي تُستخلص من الصور طوال عملية التصنيف. وقمنا بمقارنة الطريقة المقترحة مع طريقتين أخريين للدمج: MetaNet، وطريقة تعتمد على دمج الميزات. أظهرت النتائج المستخلصة من مجموعتين مختلفتين من بيانات البقع الجلدية أن الطريقة المقترحة تُحسّن التصنيف في جميع النماذج المختبرة، وتتفوّق على الطرق الأخرى للدمج في 6 من أصل 10 سيناريوهات.