HyperAIHyperAI
vor 17 Tagen

CellViT: Vision Transformers für eine präzise Zellsegmentierung und -klassifizierung

Fabian Hörst, Moritz Rempe, Lukas Heine, Constantin Seibold, Julius Keyl, Giulia Baldini, Selma Ugurel, Jens Siveke, Barbara Grünwald, Jan Egger, Jens Kleesiek
CellViT: Vision Transformers für eine präzise Zellsegmentierung und -klassifizierung
Abstract

Die Detektion und Segmentierung von Zellkernen in hämatoxylin- und eosin-färbten (H&E) Gewebebildern sind wichtige klinische Aufgaben und von entscheidender Bedeutung für eine Vielzahl von Anwendungen. Aufgrund der Variabilität in der Färbung und Größe der Kerne, überlappender Grenzen sowie Kernclusterung stellt diese Aufgabe jedoch eine große Herausforderung dar. Obwohl bisher konvolutionale neuronale Netze weitgehend für diese Aufgabe eingesetzt wurden, untersuchen wir hier das Potenzial von Transformer-basierten Netzwerken in diesem Bereich. Dazu stellen wir eine neue Methode zur automatisierten Instanzsegmentierung von Zellkernen in digitalisierten Gewebeproben vor, die auf einer tiefen Lernarchitektur basiert, die auf dem Vision Transformer (ViT) aufbaut – namens CellViT. CellViT wird auf dem PanNuke-Datensatz trainiert und evaluiert, einem der anspruchsvollsten Datensätze für die Instanzsegmentierung von Zellkernen, der fast 200.000 annotierte Kerne in 19 Gewebetypen in 5 klinisch relevanten Klassen enthält. Wir zeigen die Überlegenheit großer, in-domain und out-of-domain vortrainierter Vision Transformers, indem wir den kürzlich veröffentlichten Segment Anything Model (SAM) sowie einen ViT-Encoder, der auf 104 Millionen histologischer Bildpatches vortrainiert wurde, nutzen. Damit erreichen wir eine state-of-the-art-Leistung bei der Detektion und Instanzsegmentierung von Zellkernen auf dem PanNuke-Datensatz mit einer mittleren Panoptic Quality von 0,50 und einem F1-Detection-Score von 0,83. Der Quellcode ist öffentlich verfügbar unter https://github.com/TIO-IKIM/CellViT.