Lernen von semantikbereicherten Darstellungen durch Selbstentdeckung, Selbstklassifizierung und Selbstwiederherstellung

Medizinische Bilder sind naturgemäß mit reichen Semantiken der menschlichen Anatomie verbunden, die sich in einer Vielzahl wiederkehrender anatomischer Muster widerspiegeln. Dies bietet einzigartiges Potenzial zur Förderung des tiefen semantischen Repräsentationslernens und zur Erstellung semantisch stärkerer Modelle für verschiedene medizinische Anwendungen. Allerdings ist es weitgehend unerforscht, wie diese starken, aber freien Semantiken in medizinischen Bildern für das selbstüberwachte Lernen genutzt werden können. Zu diesem Zweck trainieren wir tiefe Modelle, um durch Selbstentdeckung, Selbstklassifizierung und Selbstrestauration der darunterliegenden Anatomie eine semantisch angereicherte visuelle Repräsentation zu erlernen. Das Ergebnis ist ein semantisch angereichertes, allgemein verwendbares, vortrainiertes 3D-Modell, das als Semantic Genesis bezeichnet wird. Wir untersuchen unser Semantic Genesis im Vergleich zu allen öffentlich verfügbaren vortrainierten Modellen, sei es durch selbstüberwachtes oder vollständig überwachtes Lernen, anhand von sechs unterschiedlichen Zielaufgaben, die sowohl Klassifikation als auch Segmentierung in verschiedenen medizinischen Modalitäten (d.h., CT, MRT und Röntgen) abdecken. Unsere umfangreichen Experimente zeigen, dass Semantic Genesis alle seine 3D-Gegenstücke sowie das faktische ImageNet-basierte Transfer-Lernen in 2D deutlich übertrifft. Diese Leistung wird auf unseren neuartigen Rahmen für das selbstüberwachte Lernen zurückgeführt, der tiefe Modelle dazu anregt, ansprechende semantische Repräsentationen aus den zahlreichen anatomischen Mustern zu lernen, die sich aus konsistenten Anatomien in medizinischen Bildern ergeben. Der Quellcode und das vortrainierte Semantic Genesis sind unter https://github.com/JLiangLab/SemanticGenesis verfügbar.