CASS: Cross Architectural Self-Supervision für die medizinische Bildanalyse

Neuere Fortschritte in der tiefen Lern- und Computervision haben viele Hürden für die automatisierte medizinische Bildanalyse abgebaut, wodurch Algorithmen in der Lage sind, labelfreie Bilder zu verarbeiten und ihre Leistung zu verbessern. Allerdings weisen bestehende Techniken extrem hohe rechnerische Anforderungen auf und zeigen bei Reduzierung der Batch-Größe oder der Trainings-Epochen eine erhebliche Leistungsabnahme. In diesem Artikel stellen wir Cross Architectural – Self Supervision (CASS) vor, einen neuartigen Ansatz des selbstüberwachten Lernens, der gleichzeitig Transformatoren und CNNs nutzt. Im Vergleich zu bestehenden state-of-the-art-Methoden des selbstüberwachten Lernens zeigen wir empirisch, dass CASS-getrainierte CNNs und Transformatoren an vier unterschiedlichen Datensätzen im Durchschnitt eine Verbesserung um 3,8 % bei 1 % gelabelter Daten, 5,9 % bei 10 % gelabelter Daten und 10,13 % bei 100 % gelabelter Daten erzielen, wobei dabei 69 % weniger Zeit benötigt werden. Zudem zeigen wir, dass CASS deutlich robuster gegenüber Änderungen der Batch-Größe und der Anzahl der Trainings-Epochen ist. Besonders hervorzuheben ist, dass einer der Testdatensätze histopathologische Folien einer Autoimmunerkrankung enthielt – eine Erkrankung mit äußerst geringen verfügbaren Daten, die in der medizinischen Bildanalyse bisher stark unterrepräsentiert war. Der Quellcode ist Open Source und steht auf GitHub zur Verfügung.