Ein auf Deep Learning basierendes multimodales Fusionsmodell zur Hautläsionsdiagnose unter Verwendung von von Smartphones erfassten klinischen Bildern und Metadaten

Einleitung: Hautkrebs ist eine der häufigsten Krebsarten. Ein für die Öffentlichkeit zugängliches Werkzeug könnte zur Früherkennung maligner Läsionen beitragen. Ziel dieser Studie war die Entwicklung eines Deep-Learning-Modells zur Klassifikation von Hautläsionen mithilfe klinischer Bilder und Meta-Daten, die mit Smartphones gesammelt wurden.Methoden: Es wurde ein tiefes neuronales Netzwerk mit zwei Encodern entwickelt, um Informationen aus Bilddaten und Meta-Daten zu extrahieren. Ein multimodales Fusionsmodul mit intra-modaler Selbst-Attention und inter-modaler Kreuz-Attention wurde vorgeschlagen, um Bilddaten- und Meta-Daten-Features effektiv zu kombinieren. Das Modell wurde anhand einer öffentlichen Datensatz trainiert und anhand einer fünffachen Kreuzvalidierung mit anderen state-of-the-art-Methoden verglichen.Ergebnisse: Die Einbeziehung von Meta-Daten zeigte eine signifikante Verbesserung der Modellleistung. Unser Modell erreichte gegenüber anderen Methoden zur Fusion von Meta-Daten höhere Werte hinsichtlich Genauigkeit, ausgewogener Genauigkeit und Fläche unter der ROC-Kurve (AUC), mit durchschnittlichen Werten von 0,768 ± 0,022, 0,775 ± 0,022 und 0,947 ± 0,007.Schlussfolgerung: Es wurde erfolgreich ein Deep-Learning-Modell zur Diagnose von Hautläsionen entwickelt, das Bilder und Meta-Daten, die mit Smartphones erfasst wurden, nutzt. Das vorgeschlagene Modell zeigte vielversprechende Leistung und könnte ein potenzielles Werkzeug für die Früherkennung von Hautkrebs darstellen.