HyperAIHyperAI

Command Palette

Search for a command to run...

CellViT: Vision Transformers für eine präzise Zellsegmentierung und -klassifizierung

Zusammenfassung

Die Detektion und Segmentierung von Zellkernen in hämatoxylin- und eosin-färbten (H&E) Gewebebildern sind wichtige klinische Aufgaben und von entscheidender Bedeutung für eine Vielzahl von Anwendungen. Aufgrund der Variabilität in der Färbung und Größe der Kerne, überlappender Grenzen sowie Kernclusterung stellt diese Aufgabe jedoch eine große Herausforderung dar. Obwohl bisher konvolutionale neuronale Netze weitgehend für diese Aufgabe eingesetzt wurden, untersuchen wir hier das Potenzial von Transformer-basierten Netzwerken in diesem Bereich. Dazu stellen wir eine neue Methode zur automatisierten Instanzsegmentierung von Zellkernen in digitalisierten Gewebeproben vor, die auf einer tiefen Lernarchitektur basiert, die auf dem Vision Transformer (ViT) aufbaut – namens CellViT. CellViT wird auf dem PanNuke-Datensatz trainiert und evaluiert, einem der anspruchsvollsten Datensätze für die Instanzsegmentierung von Zellkernen, der fast 200.000 annotierte Kerne in 19 Gewebetypen in 5 klinisch relevanten Klassen enthält. Wir zeigen die Überlegenheit großer, in-domain und out-of-domain vortrainierter Vision Transformers, indem wir den kürzlich veröffentlichten Segment Anything Model (SAM) sowie einen ViT-Encoder, der auf 104 Millionen histologischer Bildpatches vortrainiert wurde, nutzen. Damit erreichen wir eine state-of-the-art-Leistung bei der Detektion und Instanzsegmentierung von Zellkernen auf dem PanNuke-Datensatz mit einer mittleren Panoptic Quality von 0,50 und einem F1-Detection-Score von 0,83. Der Quellcode ist öffentlich verfügbar unter https://github.com/TIO-IKIM/CellViT.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
CellViT: Vision Transformers für eine präzise Zellsegmentierung und -klassifizierung | Paper | HyperAI