Ein auf Aufmerksamkeit basierender Mechanismus zur Kombination von Bildern und Metadaten in Deep-Learning-Modellen zur Anwendung bei der Hautkrebsklassifizierung

Computerunterstützte Systeme zur Hautkrebsklassifikation, die mit tiefen neuronalen Netzen entwickelt wurden, liefern typischerweise Vorhersagen basierend ausschließlich auf Bildern von Hautläsionen. Trotz vielversprechender Ergebnisse ist eine höhere Leistung möglich, wenn auch patientenbezogene Demografiedaten berücksichtigt werden, die für menschliche Experten wichtige Hinweise darstellen, während der Screening-Prozess von Hautläsionen durchgeführt wird. In diesem Artikel befassen wir uns mit dem Problem der Kombination von Bilddaten und Metadaten durch Anwendung tiefer Lernmodelle auf die Hautkrebsklassifikation. Wir stellen den Metadata Processing Block (MetaBlock) vor, einen neuartigen Algorithmus, der Metadaten nutzt, um die Klassifikation durch die Verstärkung der relevantesten aus den Bildern extrahierten Merkmale im gesamten Klassifikationsprozess zu unterstützen. Wir verglichen unsere Methode mit zwei anderen Kombinationsansätzen: MetaNet und einem Ansatz basierend auf Merkmalsverkettung. Die Ergebnisse für zwei verschiedene Datensätze von Hautläsionen zeigen, dass unsere Methode die Klassifikationsleistung für alle getesteten Modelle verbessert und in sechs von zehn Szenarien besser abschneidet als die anderen Kombinationsansätze.