دراسة إعادة الإنتاج باستخدام البيانات العامة للمقال: تطوير وتحقق خوارزمية تعلم عميق للكشف عن اعتلال الشبكية السكري في صور قاع العين الشبكية

لقد حاولنا إعادة إنتاج النتائج الواردة في الدراسة المنشورة بعنوان "تطوير وتحقق من خوارزمية تعلم عميق للكشف عن التهاب الشبكية السكري في صور قاع العين"، التي نُشرت في مجلة JAMA عام 2016 (العدد 316، المجلد 22)، باستخدام مجموعات بيانات متاحة للعامة. وقد أعدنا تنفيذ الطريقة الأساسية في الدراسة الأصلية نظرًا لعدم توفر الكود المصدري. استخدمت الدراسة الأصلية صورًا غير عامة لقاع العين من منصة EyePACS وثلاثة مستشفيات في الهند لتدريب النموذج. أما نحن فقد استخدمنا مجموعة بيانات EyePACS مختلفة من منصة Kaggle. كما أن الدراسة الأصلية استخدمت مجموعة البيانات القياسية Messidor-2 لتقييم أداء الخوارزمية، بينما استخدمنا نسخة مختلفة من مجموعة Messidor-2، نظرًا لعدم توفر النسخة الأصلية بعد الآن. في الدراسة الأصلية، قام أطباء العيون بإعادة تقييم جميع الصور من حيث التهاب الشبكية السكري، وتورم القُرَّة، وقابلية التقييم البصري للصورة. أما نحن فقد اعتمدنا تقييمًا واحدًا فقط لكل صورة من حيث التهاب الشبكية السكري، وقمنا بتقييم قابلية التقييم البصري بأنفسنا. لم نتمكن من إعادة إنتاج النتائج المذكورة في الدراسة الأصلية باستخدام البيانات المتاحة للعامة. فقد بلغ متوسط مساحة تحت منحنى استجابة التشغيل المتلقية (AUC) لخوارزميتنا 0.951 (النطاق الثقة 95%: 0.947–0.956) على مجموعة اختبار EyePACS من Kaggle، و0.853 (النطاق الثقة 95%: 0.835–0.871) على مجموعة Messidor-2، وهو ما لا يقترب من القيمة المبلغ عنها في الدراسة الأصلية، والتي كانت 0.99 على كلا المجموعتين. وقد يكون السبب في هذا الفرق استخدام تقييم واحد فقط لكل صورة، أو اختلاف في البيانات المستخدمة. تُظهر هذه الدراسة التحديات المرتبطة بإعادة إنتاج نتائج خوارزميات التعلم العميق، وتحتّم الحاجة إلى مزيد من الدراسات التي تركز على التكرار والتأكيّد، لا سيما في مجال تحليل الصور الطبية. يمكن الوصول إلى الكود المصدري والإرشادات الخاصة بنا من خلال الرابط التالي: https://github.com/mikevoets/jama16-retina-replication.