Replikationsstudie unter Verwendung öffentlich verfügbarer Daten zu: Entwicklung und Validierung eines Deep-Learning-Algorithmus zur Erkennung von diabetischer Retinopathie in retinalen Fundusbildern

Wir haben versucht, die Ergebnisse des Beitrags „Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs“, veröffentlicht in JAMA 2016; 316(22), unter Verwendung öffentlich verfügbarker Datensätze nachzuvollziehen. Da der Quellcode nicht verfügbar war, haben wir die zentrale Methode der ursprünglichen Studie neu implementiert. Die ursprüngliche Studie nutzte nicht öffentlich verfügbare Funduskarten aus EyePACS sowie aus drei indischen Krankenhäusern zur Modelltrainierung. Wir verwendeten stattdessen eine andere EyePACS-Datensatzversion aus Kaggle. Zur Bewertung der Leistung des Algorithmus nutzte die ursprüngliche Studie den Benchmark-Datensatz Messidor-2. Da der ursprüngliche Datensatz nicht mehr verfügbar ist, setzten wir eine andere Verteilung des Messidor-2-Datensatzes ein. In der ursprünglichen Studie wurden alle Bilder von Ophthalmologen erneut bewertet hinsichtlich Diabetischer Retinopathie, Makulödem und Bildbewertbarkeit. Für unsere Datensätze verfügen wir lediglich über eine einzige Diabetische Retinopathie-Beurteilung pro Bild und haben die Bildbewertbarkeit selbst bewertet. Es gelang uns nicht, die Ergebnisse der ursprünglichen Studie mit öffentlich verfügbaren Daten zu replizieren. Unser Algorithmus erreichte auf dem Kaggle EyePACS-Testset eine AUC von 0,951 (95%-KI: 0,947–0,956) und auf Messidor-2 eine AUC von 0,853 (95%-KI: 0,835–0,871), was deutlich unter der in der ursprünglichen Studie berichteten AUC von 0,99 für beide Testsets liegt. Dies könnte auf die Verwendung einer einzigen Bewertung pro Bild oder auf Unterschiede im Datensatz zurückzuführen sein. Diese Studie verdeutlicht die Herausforderungen bei der Replikation von Ergebnissen tiefen Lernens und unterstreicht die Notwendigkeit weiterer Reproduktionsstudien zur Validierung von Deep-Learning-Methoden, insbesondere im Bereich der medizinischen Bildanalyse. Unser Quellcode und Anleitungen sind unter folgender Adresse verfügbar: https://github.com/mikevoets/jama16-retina-replication.