Virtuelle Bildgebungstudien verbesserten die Transparenz und Zuverlässigkeit von KI-Systemen in der COVID-19-Bildgebung.
Die Glaubwürdigkeit von Künstlicher Intelligenz (KI) in der medizinischen Bildgebung wurde insbesondere während der COVID-19-Pandemie durch Wiederholbarkeitsprobleme und verschleierte klinische Erkenntnisse in Frage gestellt. Um diese Bedenken zu adressieren, schlagen wir ein Framework für virtuelle Bildgebungstests (VIT) vor, das sowohl klinische als auch simulierte Datensätze zur Bewertung von KI-Systemen nutzt. Diese Studie konzentriert sich auf die Verwendung von Faltungsneuronalen Netzen (CNNs) zur Diagnose von COVID-19 mittels Computertomographie (CT) und Thoraxröntgenaufnahmen (CXR). Wir entwickelten und testeten mehrere KI-Modelle, darunter 3D ResNet-artige und 2D EfficientNetv2-Architekturen, anhand verschiedener Datensätze. Unsere Evaluationsmetriken umfassten den Flächeninhalt unter der Kurve (AUC). Statistische Analysen, wie die DeLong-Methode zur Berechnung von AUC-Konfidenzintervallen, wurden angewendet, um Leistungsunterschiede zu bewerten. Unsere Ergebnisse zeigen, dass VIT eine robuste Plattform für objektive Bewertungen bietet und erhebliche Einflüsse von Datensatzmerkmalen, Patientenfaktoren und bildgebenden Physik auf die Effizienz der KI aufdeckt. Bemerkenswerterweise zeigten Modelle, die auf den vielfältigsten Datensätzen trainiert wurden, die besten externen Testleistungen mit AUC-Werten zwischen 0,73 und 0,76 für CT sowie zwischen 0,70 und 0,73 für CXR. Interne Tests ergaben höhere AUC-Werte (zwischen 0,77 und 0,85 für CT und zwischen 0,77 und 1,0 für CXR), was einen erheblichen Leistungseinbruch bei der externen Validierung hervorhebt. Dies unterstreicht die Bedeutung vielfältiger und umfassender Trainings- und Testdaten. Dieser Ansatz erhöht die Transparenz und Zuverlässigkeit der Modelle und bietet differenzierte Einblicke in die Faktoren, die die KI-Leistung beeinflussen. Er schließt zudem die Lücke zwischen experimentellen und klinischen Szenarien. Die Studie betont das Potenzial von VIT zur Verbesserung der Wiederholbarkeit und klinischen Relevanz von KI-Systemen in der medizinischen Bildgebung.