Snuffy: Effizienter Klassifikator für Ganzes Bildpräparat

Die Klassifikation von Whole Slide Images (WSI) mittels Multiple Instance Learning (MIL) in der digitalen Pathologie steht vor erheblichen rechnerischen Herausforderungen. Aktuelle Methoden basieren in der Regel auf umfangreichen selbstüberwachten Lernansätzen (SSL), um eine zufriedenstellende Leistung zu erzielen, was lange Trainingszeiten und erhebliche Rechenressourcen erfordert. Gleichzeitig leidet die Leistung ohne Vortrainierung unter Domänenverschiebungen von natürlichen Bildern zu WSI. Wir stellen die Snuffy-Architektur vor, eine neuartige MIL-Pooling-Methode auf Basis spärlicher Transformers, die die Leistungsabnahme bei begrenztem Vortrainieren reduziert und kontinuierliches Few-Shot-Vortrainieren als konkurrenzfähige Alternative ermöglicht. Unser Sparsitätsmuster ist speziell für die Pathologie optimiert und wird theoretisch als universeller Approximator mit der engsten probabilistischen Schranke für die Anzahl der Schichten bei spärlichen Transformers bislang bewiesen. Wir belegen die Wirksamkeit von Snuffy anhand der Datensätze CAMELYON16 und TCGA-Lungenkrebs, wobei eine überlegene Genauigkeit auf WSI- und Patch-Ebene erreicht wird. Der Quellcode ist unter https://github.com/jafarinia/snuffy verfügbar.