Vision Transformers für kleine histologische Datensätze, die durch Knowledge Distillation erlernt wurden

Computational Pathology (CPATH)-Systeme haben das Potenzial, diagnostische Aufgaben zu automatisieren. Allerdings können Artefakte auf digitalisierten histologischen Glaspräparaten, sogenannten Whole Slide Images (WSIs), die Gesamtleistung von CPATH-Systemen beeinträchtigen. Deep-Learning-(DL)-Modelle wie Vision Transformers (ViTs) können solche Artefakte vor der Ausführung des diagnostischen Algorithmus erkennen und ausschließen. Eine einfache Möglichkeit, robuste und generalisierbare ViTs zu entwickeln, besteht darin, sie auf riesigen Datensätzen zu trainieren. Leider sind die Beschaffung großer medizinischer Datensätze jedoch kostspielig und aufwendig, was die Notwendigkeit einer generalisierten Methode zur Artefakterkennung für WSIs unterstreicht. In diesem Artikel präsentieren wir ein Student-Teacher-Ansatz, um die Klassifizierungsleistung von ViTs für die Erkennung von Luftblasen zu verbessern. Unter dem Student-Teacher-Rahmen trainierte ViTs steigern ihre Leistung durch das Ableiten vorhandener Kenntnisse aus einem leistungsstarken Teacher-Modell. Unser bestperformendes ViT erzielt F1-Scores von 0,961 und Matthews-Korrelationskoeffizienten (MCC) von 0,911 und zeigt gegenüber dem herkömmlichen Einzeltraining eine Verbesserung um 7 % beim MCC. Der vorgeschlagene Ansatz eröffnet eine neue Perspektive darauf, Wissensdistillation im Vergleich zu Transfer Learning einzusetzen, um die Nutzung maßgeschneiderter Transformer für effiziente Vorverarbeitungspipelines in CPATH-Systemen zu fördern.