Sélectionné Pour Le CVPR 2025, Shanghai AI Lab Et D'autres Ont Proposé Le Premier Cadre De Réidentification D'images Médicales À Modalités Complètes, Qui a Obtenu Le SOTA Sur 11 Ensembles De Données

Dans le domaine de la gestion des images médicales basée sur l'IA, la réidentification des images médicales (MedReID) est une technologie clé qui vise à associer automatiquement les données d'images des patients provenant de différentes modalités et à différents moments, fournissant ainsi un support de données solide pour un diagnostic et un traitement personnalisés. Cependant, ce domaine a été peu exploré.Les méthodes traditionnelles s’appuient principalement sur des caractéristiques d’image de bas niveau ou sur des métadonnées gérées manuellement, qui sont difficiles à répondre aux besoins cliniques d’une correspondance précise d’images massives et multimodales.

Pour relever ce défi,Le laboratoire d'intelligence artificielle de Shanghai, en collaboration avec un certain nombre d'universités renommées, a proposé le modèle MaMI (Modality-adaptive Medical Identifier).Il s'agit d'une nouvelle méthode de réidentification d'images médicales qui brise la limitation traditionnelle de la modalité unique en introduisant un adaptateur de paramètres de modalité continue, de sorte qu'un modèle unifié peut être automatiquement ajusté à un modèle spécifique à la modalité adapté à l'entrée actuelle (comme les rayons X, la tomodensitométrie, le fond d'œil, la pathologie, l'IRM, etc.) au moment de l'exécution.

Grâce à cette stratégie, MaMI a démontré des performances de réidentification de pointe dans les évaluations sur 11 ensembles de données d'imagerie médicale publics, fournissant un support de récupération de données d'imagerie historiques précis et dynamique pour la médecine personnalisée.

Adresse du document :
https://arxiv.org/pdf/2503.08173

Adresse open source du code et du modèle :
https://github.com/tianyuan168326/All-in-One-MedReID-Pytorch

Points saillants de la recherche

Proposer le modèle de réidentification médicale tout-en-un (MaMI)

Pour la première fois, l'équipe de recherche a construit un modèle capable de gérer de manière uniforme le problème de la réidentification d'images médicales de modalités multiples, et a utilisé un modèle unique pour réaliser la reconnaissance d'images de différentes modalités (telles que les rayons X, la tomodensitométrie, le fond d'œil, la pathologie, l'IRM, etc.).

Élaboration d'une référence complète en matière de réidentification médicale

L'équipe de recherche a élaboré une référence complète et équitable sur 11 ensembles de données d'imagerie médicale publiques couvrant plusieurs modalités d'imagerie et différents organes, fournissant une plate-forme d'évaluation standardisée pour les recherches ultérieures sur cette question.

Conception d'un adaptateur de paramètres modaux continus (ComPA)

L'équipe de recherche a proposé de manière innovante un adaptateur de paramètres modaux continus, qui peut générer dynamiquement des paramètres spécifiques aux modalités en fonction de l'image d'entrée, ajustant ainsi le modèle original indépendant de la modalité à un modèle spécifique à la modalité qui s'adapte aux caractéristiques d'entrée actuelles.

Intégrer les connaissances médicales antérieures

En modélisant les différences entre les images, l'équipe de recherche a transféré les riches connaissances médicales antérieures du modèle médical de base pré-entraîné à la tâche de ré-identification, améliorant ainsi efficacement la capacité du modèle à capturer des indices d'identité subtils.

Vérifier la valeur de l'application dans des scénarios réels

* Diagnostic assisté par données historiques : MaMI peut récupérer des informations personnalisées sur les patients à partir de données d'imagerie historiques non organisées, améliorant ainsi considérablement la précision des examens médicaux existants ;

* Protection de la confidentialité : MaMI peut détecter des informations d'identification subtiles dans les images et les supprimer automatiquement avant que les données ne soient partagées, garantissant ainsi que les informations médicales nécessaires sont conservées tout en protégeant la confidentialité des patients.

Architecture du modèle : Présentation de l'adaptateur de paramètres basé sur le mode continu

Il existe deux défis majeurs dans le domaine de la gestion des images médicales : la gestion des images historiques et la protection de la vie privée.

d'abord,Les méthodes traditionnelles reposent principalement sur la pré-liaison manuelle des images avec les métadonnées du patient (telles que le nom, le numéro de dossier médical) et sur la récupération des images via des systèmes de requête. Mais lorsque les données sont stockées sur différentes plateformes PACS,Ces liens sont souvent incomplets ou inexacts, ce qui les rend difficiles à gérer efficacement.Il existe donc un besoin urgent d’une méthode capable de récupérer avec précision les images historiques des patients à partir de données dispersées et mal organisées afin de fournir des preuves historiques fiables pour le diagnostic de la maladie.

Deuxièmement,Actuellement, la plupart des mesures de protection de la vie privée se concentrent uniquement sur la suppression des informations explicites (comme le nom du patient). Cependant, des études ont montré queIl existe également des indices visuels subtils dans les images qui peuvent révéler l’identité du patient.Un modèle idéal de réidentification d'images médicales devrait être capable de détecter automatiquement les zones liées à l'identité dans l'image et de rendre ces zones méconnaissables grâce à un post-traitement approprié, réduisant ainsi efficacement le risque de fuite de confidentialité tout en garantissant la praticité médicale des données.

En réponse aux défis susmentionnés, bien qu’un petit nombre d’études aient commencé à explorer le problème de la réidentification des images médicales, la plupart des travaux se limitent à des modalités spécifiques. Les études existantes comprennent :

* Fukuta et al. et Singh et al. utilisé des fonctionnalités de bas niveau pour effectuer la reconnaissance d’identité sur les images du fond d’œil ;

* Packhauser et al. utilisé des réseaux neuronaux pour parvenir à la réidentification des radiographies thoraciques.

Ces méthodes sont toutes conçues pour une seule modalité et peinent à bénéficier des avantages complémentaires des données multimodales. Dans le même temps, ils utilisent moins les informations médicales préalables, ce qui limite la capacité de généralisation du modèle.

En général, les recherches existantes dans le domaine de la réidentification des images médicales en sont encore à leurs balbutiements.Il est urgent de développer une solution unifiée capable d’intégrer des informations multimodales tout en prenant en compte la gestion des images historiques et la protection de la vie privée.

MaMI, proposé par le Laboratoire d’intelligence artificielle de Shanghai en collaboration avec plusieurs universités, présente deux innovations principales. La première consiste à obtenir une extraction de fonctionnalités adaptative à la modalité en mettant à niveau un modèle indépendant de la modalité vers un modèle spécifique à la modalité au moment de l’exécution. La deuxième consiste à optimiser le modèle en migrant les riches priors médicaux du modèle médical de base vers la tâche de réidentification médicale, le rendant ainsi davantage axé sur les domaines liés à la médecine.

Comme le montre la figure suivante (a),Les chercheurs ont introduit un adaptateur de paramètres basé sur le mode continu (ComPA)Adaptez dynamiquement un modèle indépendant de la modalité à un modèle approprié à la modalité d'entrée actuelle au moment de l'exécution. Le modèle ajusté extrait les caractéristiques visuelles liées à l’identité de l’image médicale d’entrée, comme illustré dans la figure (b) ci-dessous. Au cours du processus d’optimisation, les chercheurs ont aligné les principales différences entre les images.Transférer de riches connaissances médicales antérieures issues de modèles de fondation médicale (MFM) aux tâches de réidentification médicale,Comme le montre la figure (c) ci-dessous.

Adaptateur de paramètres basé sur le mode continu (ComPA)

Afin de capturer pleinement les caractéristiques spécifiques des différentes modalités d'imagerie médicale, les chercheurs ont constaté qu'un simple réglage fin du modèle unifié est difficile pour faire ressortir les avantages de chaque modalité (comme indiqué dans le tableau 1), de sorte qu'une extraction adaptative des caractéristiques de la modalité est nécessaire. À cette fin, il a conçu le module ComPA, qui génère dynamiquement des paramètres de modèle spécifiques à l'image d'entrée au moment de l'exécution grâce à une représentation modale continue et une prédiction de paramètres de bas rang, compensant ainsi efficacement le manque d'informations spécifiques à la modalité dans le modèle unifié.

Transférer les antécédents médicaux des modèles de fondation médicale aux modèles ReID

Le simple fait de se fier à la perte de réidentification peut amener le modèle à se concentrer trop sur des textures triviales (comme le bruit de l'équipement) et à ignorer les caractéristiques biologiques intrinsèques du patient. En revanche, les modèles de fondation médicale (MFM) pré-entraînés sur des images médicales à grande échelle se concentrent sur les structures anatomiques, fournissant des antécédents médicaux plus riches pour la reconnaissance d'identité.Les chercheurs ont transféré leurs connaissances antérieures au modèle re-ID et ont utilisé des cartes de caractéristiques locales pour guider le modèle.

Pour combler le fossé de domaine entre la tâche de pré-formation MFM et la tâche MedReID, deux stratégies sont proposées :

Le premier estSélection adaptative des structures clés. Les chercheurs d'abordLes caractéristiques modales de l'image sont projetées dans un ensemble de jetons de requête spécifiques à la modalité qui peuvent capturer des informations structurelles clés dans chaque modalité, telles que les contours des organes dans les radiographies thoraciques ou la distribution vasculaire dans les images du fond d'œil. Par la suite, ces jetons de requête sont mis en correspondance avec des cartes de caractéristiques locales via le mécanisme d'attention croisée, permettant ainsi une sélection précise des caractéristiques sémantiques médicales clés.Par rapport à l’utilisation de toutes les informations sur les fonctionnalités, l’extraction des structures clés réduit le risque de surapprentissage.

Le deuxième est l’apprentissage préalable basé sur les résidus structurels.Contrairement à la méthode conventionnelle d'alignement direct des caractéristiques, les chercheurs alignent les caractéristiques de différence inter-images et utilisent la perte de contraste pour apprendre les différences subtiles entre les images, améliorant ainsi la capacité du modèle à capturer les caractéristiques d'identité.

Résultats expérimentaux : vérification de la valeur dans des scénarios d'application réels

La première liste ReID médicale

Comme le montre le tableau ci-dessous, les chercheurs ont évalué le modèle de base visuel, le modèle de base du langage visuel, le modèle de ré-identification, le modèle de base médical et le modèle MedReID unimodal. Afin de stimuler pleinement leur potentiel et d’assurer une comparaison équitable, ils ont affiné les modèles représentatifs.Les résultats montrent que MaMI atteint systématiquement les performances SOTA dans plusieurs tests.

Scénario d'application 1 : Récupération automatisée des cas historiques pour soutenir la médecine de précision

Dans les scénarios réels, compte tenu de la mauvaise gestion des images médicales des patients dans le passé,L'équipe de recherche a proposé d'utiliser MaMI pour récupérer des images historiques liées à l'image actuelle et a fusionné les caractéristiques de plusieurs images historiques via un simple MLP pour faciliter le diagnostic et s'appuyer uniquement sur les informations de l'image.Aucune balise d'historique requise.

Lors de la récupération de 5 images historiques,Le taux de précision du diagnostic est passé de 77,34% à 80,12%, soit une augmentation de 2,78%.Nous démontrons l’efficacité de MaMI dans l’exploitation des données historiques dans des archives non structurées pour améliorer l’utilité clinique ; d'autres expériences comparatives montrent que notre approche surpasse systématiquement les méthodes ReID basées sur l'apparence (DINOv2), basées sur les symptômes (Med-Unic) et les méthodes ReID à rayons X conçues spécifiquement pour les rayons X (Packhauser et al.) en termes de performances de récupération d'images.

Scénario d'application 2 : Protection automatisée de la vie privée pour garantir la sécurité éthique à l'ère des grands modèles

Les chercheurs ont utilisé un modèle U-Net simple pour prédire et supprimer les caractéristiques visuelles liées à l'identité dans les images, et ont présenté leur modèle d'identification comme la perte de similarité d'identité.Cela réduit la similarité des caractéristiques d’identité tout en maintenant une similarité élevée des caractéristiques médicales.Les résultats de la formation sur l'ensemble de données MIMIC-X et de l'évaluation sur l'ensemble de données Chest-X montrent que les images protégées peuvent résister aux attaques de ré-identification tandis que la précision de la classification de la maladie n'est que légèrement inférieure à celle des images originales. Les résultats sont présentés dans le tableau suivant :

Conclusion

Le modèle MaMI unifie les tâches de réidentification des images médicales et de protection de la confidentialité, et améliore considérablement les performances globales de la récupération des images historiques et de la protection des informations d'identité. L’effet d’amélioration de MaMI est soutenu par une analyse théorique solide et une vérification expérimentale complète. Nous pensons que l'adaptateur innovant de paramètres de modalité continue et sa conception intégrant les connaissances médicales antérieures fournissent un nouveau paradigme pour la gestion des images médicales multimodales et devraient inspirer le développement de technologies de traitement d'images plus avancées pour le diagnostic et le traitement personnalisés et la protection de la vie privée.

En outre, la nouvelle équipe d’évaluation de grands modèles du Laboratoire d’intelligence artificielle de Shanghai recrute des stagiaires. Les amis intéressés peuvent cliquer sur cet article pour voir les détails ou envoyer directement votre CV à tianyuan@pjlab.org.cn.