MediCLIP Permet d'obtenir Des Résultats De Pointe En Matière De Détection Et De Localisation d'anomalies En Utilisant Un Minimum De Données d'imagerie médicale.
Dans le diagnostic et le traitement cliniques, les technologies d'imagerie médicale (telles que les radiographies, les scanners et l'échographie) sont essentielles au diagnostic des médecins. Après l'examen d'imagerie, un radiologue ou un échographiste interprète généralement les images. Cette interprétation professionnelle permet d'identifier les anomalies, de localiser les lésions et de préparer les rapports diagnostiques, apportant ainsi une aide précieuse à la prise de décision clinique.
Avec le développement de la technologie de l’intelligence artificielle, l’analyse d’images médicales apporte de nouveaux changements.Actuellement, l’apprentissage automatique est capable d’effectuer la tâche de détection d’anomalies dans les images médicales, c’est-à-dire de distinguer les images normales des images anormales présentant des lésions et d’identifier les emplacements de ces zones de lésions.Ce type de technologie joue un rôle essentiel dans l'aide à la décision médicale. Certains modèles de détection avancés peuvent même être aussi performants que des cliniciens professionnels sur certaines tâches, réduisant ainsi les risques décisionnels tout en améliorant l'efficacité du personnel médical.
Cependant, les méthodes existantes de détection d'anomalies d'images médicales s'appuient généralement sur des ensembles de données à grande échelle pour leur apprentissage. Bien que cela puisse permettre d'obtenir de meilleures performances, cela augmente également considérablement les coûts de développement.
Le modèle CLIP polyvalent est performant en transfert zéro-coup, mais son application directe à la détection d'anomalies d'images médicales est limitée par les différences de domaine et la rareté des annotations. En 2022, une équipe de recherche de l'Université de l'Illinois à Urbana-Champaign a proposé la méthode MedCLIP. Inspirée des modèles d'apprentissage contrastif visuel-texte comme CLIP, cette approche étend ce paradigme à la classification et à la recherche intermodale d'images médicales en découplant l'apprentissage contrastif image-texte et en intégrant les connaissances médicales pour éliminer les faux négatifs. La méthode atteint d'excellentes performances même avec des volumes de données considérablement réduits.
Bien que MedCLIP ait obtenu des résultats significatifs en réduisant la dépendance aux données, il a été conçu pour des tâches de classification et de récupération et n'est pas adapté à la détection d'anomalies, notamment la localisation de lésions. Parallèlement, des recherches récentes ont appliqué CLIP à la détection d'anomalies de type « zero-shot » ou « small-shot », obtenant des résultats impressionnants. Cependant, ces méthodes nécessitent souvent des images d'anomalies réelles et des jeux de données auxiliaires annotés au niveau du pixel pour l'entraînement des modèles, ce qui est difficile à obtenir dans le domaine médical.
Pour répondre à ces problèmes, une équipe de recherche de l’Université de Pékin a proposé une solution efficace de détection d’anomalies d’images médicales à partir de quelques échantillons appelée MediCLIP.Cette méthode ne nécessite qu’une petite quantité d’images médicales normales pour atteindre des performances de pointe dans les tâches de détection et de localisation d’anomalies.Il peut détecter efficacement différentes maladies dans divers types d'images médicales, démontrant des capacités étonnantes de généralisation à échantillon zéro.
« MediCLIP : détection d'anomalies dans les images médicales de petits échantillons grâce à CLIP »Découvrez la méthode de diagnostic d'imagerie médicale intelligente hautement efficace dans la section Tutoriels du site Web officiel d'HyperAI (hyper.ai).
Lien du tutoriel :
Essai de démonstration
1. Sur la page d'accueil de hyper.ai, sélectionnez la page Tutoriels, choisissez MediCLIP : Détection d'anomalies dans les images médicales à petits échantillons à l'aide de CLIP, puis cliquez sur Exécuter ce tutoriel en ligne.
2. Une fois la page affichée, cliquez sur « Cloner » dans le coin supérieur droit pour cloner le didacticiel dans votre propre conteneur.
3. Sélectionnez les images NVIDIA GeForce RTX 4090 et PyTorch, puis cliquez sur Continuer. La plateforme OpenBayes propose quatre méthodes de facturation. Vous pouvez choisir « payer à l'utilisation » ou « quotidien/hebdomadaire/mensuel » selon vos besoins. Les nouveaux utilisateurs peuvent s'inscrire en utilisant le lien d'invitation ci-dessous pour obtenir 4 heures de RTX 4090 + 5 heures de temps CPU gratuit !
Lien d'invitation exclusif HyperAI (copier et ouvrir dans le navigateur) :
https://openbayes.com/console/signup?r=Ada0322_NR0n
4. Attendez que les ressources soient allouées. Le premier clonage prendra environ 2 minutes. Lorsque le statut passe à « En cours d'exécution », cliquez sur « Ouvrir l'espace de travail ».
5. Double-cliquez sur le nom du projet dans le répertoire de gauche pour commencer à l'utiliser. Remarque : ce tutoriel utilise un seul GPU RTX 4090. N'ouvrez pas les versions chinoise et anglaise du Notebook en même temps ; ouvrez-en simplement une. Il est recommandé d'utiliser le fichier README.ipynb (la version chinoise est plus lisible).
6. Cliquez sur le bouton « Exécuter » ci-dessus : Configurez l’environnement virtuel Python.
7. Modèle MediCLIP formé sur l'ensemble de données BrainMRI à l'aide de 16 échantillons de support.
8. Utilisez le modèle formé pour tester l’ensemble de données BrainMRI.
Démonstration d'effet
Les résultats de sortie montrent que le modèle fonctionne très bien dans la classification binaire des images sur l'ensemble de tests BrainMRI, avec un AUROC de 0,9424 (proche d'un score complet de 1).
Les résultats de détection visuelle du modèle pour chaque image test sont enregistrés par défaut dans le répertoire openbayes//home/MediCLIP/vis_result. L'emplacement précis est indiqué dans la figure ci-dessous :
Ouvrez au hasard une image de résultat de test, qui s'affiche clairement et intuitivement :
* Gauche : Image originale du cerveau
* À droite : « Zone anormale » en surbrillance
Le tutoriel ci-dessus est celui recommandé par HyperAI cette fois-ci. Bienvenue à tous pour le découvrir !
Lien du tutoriel :