Einfluss der Vortrainingsgröße auf intra- und interdomänische Voll- und Few-Shot Transfer Learning für natürliche und medizinische Röntgenbrustbilder

Die stetige Erhöhung von Modellgröße, Datenvolumen und Rechenressourcen im Vortrainingsprozess hat in zahlreichen Studien im Bereich der Sprachmodellierung und der natürlichen Bilderkennung gezeigt, dass sie die Generalisierungsfähigkeit und das Transferlernen erheblich verbessert. Allerdings basierten die meisten Untersuchungen zum positiven Einfluss größerer Skalen auf in-domain-Szenarien, bei denen Quell- und Zieldaten eng verwandt sind. Um den Einfluss größerer Skalen sowohl für in-domain- als auch für out-of-domain-Szenarien bei vollständigem und few-shot-Transfer zu untersuchen, kombinieren wir hier erstmals große, öffentlich verfügbare medizinische Röntgen-Thorax-Bilddatensätze, um eine Skala im medizinischen Bildbereich zu erreichen, die vergleichbar mit ImageNet-1k ist, das regelmäßig für das Vortraining in der natürlichen Bildverarbeitung eingesetzt wird. Anschließend führen wir überwachtes Vortraining durch, wobei wir Netzwerkgröße und Skala sowie Domäne der Quelldaten variieren – entweder große natürliche Datensätze (ImageNet-1k/21k) oder große medizinische Thorax-Röntgen-Datensätze – und transferieren die vortrainierten Modelle auf verschiedene natürliche oder medizinische Zielbereiche. Wir beobachten eine deutliche Verbesserung durch größere Vortrainings-Skalen bei intra-domain-Transfer in den Kombinationen natürliche-natürliche und medizinisch-medizinisch. Bei inter-domain-Transfer (natürlich-medizinisch) zeigen sich Verbesserungen durch größere Vortrainings-Skalen bei größeren Röntgen-Zielen im vollständigen Transfer-Szenario, während sich bei kleineren Zielen und im few-shot-Regime keine sichtbare Verbesserung ergibt. Auffällig ist, dass große Netzwerke, die auf dem sehr großen natürlichen Datensatz ImageNet-21k vortrainiert wurden, bei der Übertragung auf große Röntgen-Ziele gleich gut oder sogar besser abschneiden als Netzwerke, die auf den größten verfügbaren medizinischen Röntgen-Datensätzen vortrainiert wurden. Wir schließen daraus, dass eine erhebliche Erhöhung der Modellgröße sowie der Skala generischer, domänenunabhängiger natürlicher Bildquellen im Vortraining hochwertige out-of-domain-Übertragungen auf medizinisch spezifische Ziele ermöglicht und somit die Abhängigkeit von großen, medizinisch spezifischen Quelldatensätzen reduziert, die in der Praxis oft nicht verfügbar sind.