La crédibilité des modèles d'Intelligence Artificielle (IA) en imagerie médicale, particulièrement durant la pandémie de COVID-19, a été remise en question par des problèmes de reproductibilité et des insights cliniques obscurs. Pour répondre à ces préoccupations, nous proposons un cadre de Virtual Imaging Trials (VIT), utilisant à la fois des jeux de données cliniques et simulés pour évaluer les systèmes d'IA. Cette étude se concentre sur l'utilisation de réseaux neuronaux convolutifs (CNNs) pour le diagnostic de la COVID-19 à partir de tomodensitométrie (CT) et de radiographie thoracique (CXR). Nous avons développé et testé plusieurs modèles d'IA, notamment des architectures 3D ResNet-like et 2D EfficientNetv2, sur divers jeux de données. Nos métriques d'évaluation comprenaient l'aire sous la courbe (AUC). Des analyses statistiques, telles que la méthode DeLong pour les intervalles de confiance de l'AUC, ont été utilisées pour évaluer les différences de performance. Nos résultats montrent que VIT fournit une plateforme robuste pour une évaluation objective, révélant des influences significatives des caractéristiques des jeux de données, des facteurs patients et de la physique de l'imagerie sur l'efficacité de l'IA. Notamment, les modèles formés sur les jeux de données les plus diversifiés ont montré les meilleures performances lors des tests externes, avec des valeurs AUC allant de 0,73 à 0,76 pour la CT et de 0,70 à 0,73 pour la CXR. Les tests internes ont produit des valeurs AUC plus élevées (de 0,77 à 0,85 pour la CT et de 0,77 à 1,0 pour la CXR), soulignant une baisse importante des performances lors de la validation externe. Cela met en lumière l'importance cruciale d'avoir des données d'entraînement et de test diversifiées et exhaustives. Cette approche améliore la transparence et la fiabilité du modèle, offrant des insights nuancés sur les facteurs qui influencent les performances de l'IA et comblant le fossé entre les conditions expérimentales et cliniques. L'étude souligne le potentiel du VIT pour améliorer la reproductibilité et la pertinence clinique des systèmes d'IA en imagerie médicale.