LiwTERM: Ein leichtgewichtiger Transformer-basierter Ansatz zur dermatologischen multimodalen Läsionsdetektion

Melanom ist die häufigste Krebsart weltweit und macht etwa 30 % aller diagnostizierten Tumoren aus. Eine frühzeitige Diagnose senkt die Sterblichkeitsrate und verhindert entstellende Folgen an verschiedenen Körperregionen. In den letzten Jahren haben maschinelle Lernverfahren, insbesondere Deep Learning, vielversprechende Ergebnisse bei dieser Aufgabe gezeigt und Studien belegt, dass die Kombination klinischer Patientendaten mit Bildern der Läsion entscheidend für eine verbesserte Klassifizierung von Hautläsionen ist. Dennoch ist die sinnvolle Nutzung klinischer Informationen in Kombination mit mehreren Bildern unerlässlich und erfordert weitere Forschung. Daher zielt dieses Projekt darauf ab, zur Entwicklung multimodaler, auf maschinellem Lernen basierender Modelle beizutragen, die die Klassifizierung von Hautläsionen mit einem leichten Transformer-Modell bewältigen. Als zentrale Hypothese wird angenommen, dass Modelle, die mehrere Bilder aus unterschiedlichen Quellen sowie klinische Informationen aus der Anamnese des Patienten als Eingabedaten verwenden, zu einer zuverlässigeren Diagnose führen. Unser Modell bearbeitet die anspruchsvolle Aufgabe, Bilder und klinische Informationen (aus der Anamnese) bezüglich Hautläsionen in einer leichten Transformer-Architektur zu integrieren, die zwar geringe Rechenressourcen erfordert, aber dennoch wettbewerbsfähige Klassifikationsergebnisse liefert.