Récemment, une équipe de recherche de l'Institut de science et de technologie de la matière de Hefei, affilié à l'Académie des sciences de Chine, a développé un nouveau système d'analyse médicale basé sur l'intelligence artificielle, nommé MultiXpert. Ce système révolutionne le diagnostic par radiographie pulmonaire en permettant une évaluation intelligente « zéro échantillon » — c’est-à-dire sans nécessiter de données étiquetées, même pour des maladies jamais observées auparavant. Grâce à cette approche, l’IA acquiert une capacité de raisonnement proche de celle d’un médecin spécialiste. La radiographie pulmonaire est l’une des méthodes d’imagerie les plus couramment utilisées en clinique, mais son interprétation manuelle est longue et dépend fortement de l’expérience des experts. Bien que les systèmes d’IA traditionnels aient pu atteindre des performances comparables à celles des radiologues sur certaines tâches, leur efficacité repose sur de vastes ensembles de données étiquetées, ce qui limite leur adaptation face à de nouvelles maladies ou aux variations entre hôpitaux. Cette dépendance aux données annotées entrave leur capacité à généraliser dans des contextes cliniques complexes. Pour surmonter ces limites, l’équipe a conçu une nouvelle approche basée sur un modèle à double flux multi-modale, permettant une analyse autonome des images et des textes sans besoin de données étiquetées supplémentaires. MultiXpert traite simultanément les images radiologiques et les descriptions textuelles, en intégrant des modèles de langage à grande échelle et des connaissances cliniques des radiologues pour améliorer la précision et la cohérence des descriptions des lésions. Dans la branche image, le système utilise un mécanisme de masque sensible aux lésions pour renforcer la représentation des zones suspectes, même en l’absence d’étiquetage explicite. Un mémoire hiérarchique dynamique permet de maintenir un équilibre entre les informations anatomiques globales et les caractéristiques locales des lésions, améliorant ainsi la compréhension structurée des images complexes. Dans la branche texte, l’association entre un modèle de langage puissant et des connaissances médicales expertes permet de corriger sémantiquement et de reformuler les descriptions cliniques, produisant des rapports précis, structurés et conformes aux standards médicaux. Un module d’alignement sémantique intermodale assure une fusion fine des informations à différents niveaux, renforçant ainsi la performance du système dans des scénarios « zéro échantillon ». Les résultats expérimentaux montrent que MultiXpert améliore en moyenne l’AUC de 7,5 % sur quatre jeux de données publiques à étiquetage unique, et dépasse de 3,9 % les modèles visuels-langagiers les plus performants dans des conditions de zéro échantillon. Cette étude ouvre une nouvelle voie vers le diagnostic intelligent des radiographies pulmonaires, marquant une transition fondamentale de l’IA médicale de la dépendance aux données annotées vers une compréhension autonome et contextuelle. Les résultats ont été publiés dans la revue Information Processing and Management, et ont bénéficié du soutien du Fonds national des sciences naturelles de Chine.