ScribbleVC: Mit Skizzen annotierte medizinische Bildsegmentierung mit Vision-Klassen-Einbettungen

Die Segmentierung medizinischer Bilder spielt eine entscheidende Rolle bei der klinischen Entscheidungsfindung, der Behandlungsplanung und der Überwachung von Erkrankungen. Die genaue Segmentierung medizinischer Bilder ist jedoch aufgrund mehrerer Faktoren herausfordernd, darunter der Mangel an hochwertigen Annotationen, Bildrauschen sowie anatomische Unterschiede zwischen Patienten. Zudem besteht weiterhin eine erhebliche Leistungs-lücke zwischen bestehenden label-effizienten Methoden und vollständig überwachten Ansätzen. Um diese Herausforderungen zu bewältigen, stellen wir ScribbleVC vor – einen neuartigen Rahmen für die scribble-gesteuerte Segmentierung medizinischer Bilder, der visuelle und Klassen-Embeddings mittels eines multimodalen Informationsverbesserungsmechanismus nutzt. Darüber hinaus verwendet ScribbleVC einheitlich CNN-Features und Transformer-Features, um eine verbesserte Extraktion visueller Merkmale zu erreichen. Die vorgeschlagene Methode kombiniert einen scribble-basierten Ansatz mit einem Segmentierungsnetzwerk und einem Klassen-Embedding-Modul, um präzise Segmentierungsmasken zu generieren. Wir evaluieren ScribbleVC an drei etablierten Benchmark-Datensätzen und vergleichen sie mit aktuellen State-of-the-Art-Methoden. Die experimentellen Ergebnisse zeigen, dass unsere Methode bestehende Ansätze hinsichtlich Genauigkeit, Robustheit und Effizienz übertrifft. Die verwendeten Datensätze und der Quellcode werden auf GitHub veröffentlicht.