Le Taux De Précision De Correspondance a Augmenté De 187,9% ! Le Laboratoire CGCL De l'Université Des Sciences Et Technologies De Huazhong Utilise l'apprentissage Auto-supervisé Pour Faciliter l'assemblage d'images d'endoscopie Par Capsule, Et La Santé gastro-intestinale Peut Également Être Vue Dans Les « Yeux Dans Le Ciel »

À l’échelle mondiale, les maladies gastro-intestinales deviennent un sérieux défi de santé publique. Selon les statistiques du Centre international de recherche sur le cancer de l'Organisation mondiale de la santé, l'incidence des maladies gastriques dans la population est aussi élevée que 80%. En Chine, le nombre de patients atteints de maladies gastro-intestinales a atteint 120 millions, et on observe une nette tendance vers des patients plus jeunes.Il est urgent de prêter attention à la santé gastro-intestinale.

**Dans ce contexte, l’endoscopie par microcapsules (MCCE), en tant qu’outil de diagnostic avancé, a attiré une large attention en raison de ses caractéristiques non invasives, indolores et sans infection croisée.**Plus précisément, le MCCE dispose d’une caméra sans fil intégrée à la capsule. Le patient n'a qu'à avaler la capsule, qui traversera l'œsophage, l'estomac, puis entrera dans l'intestin grêle, prenant au passage des dizaines de milliers d'images et les enregistrant sur le disque dur de la ceinture du patient. Finalement, la capsule sera naturellement excrétée du corps avec les selles du patient. Sur la base des images prises, les médecins peuvent rapidement identifier les maladies gastro-intestinales ou les conditions anormales, réduisant ainsi considérablement la douleur médicale des patients.

Cependant, comme le mouvement de l'endoscope à capsule dépend principalement de la motilité gastro-intestinale, sa portée de tir est limitée. Le MCCE a du mal à capturer efficacement la zone spécifique sur laquelle le médecin souhaite se concentrer (c'est-à-dire la zone d'intérêt) et ne peut souvent capturer qu'un grand nombre d'images fragmentées avec des perspectives non fixes. Ces images présentent généralement des problèmes tels qu'une texture faible, de grands changements de perspective et une déformation lorsqu'elles sont prises à courte distance.Cela pose de grands défis en matière d’assemblage et de positionnement des images et augmente également la difficulté de détecter avec précision la zone de lésion.

**En réponse à cela, l'équipe de Lu Feng de l'Université des sciences et technologies de Huazhong, en collaboration avec Sheng Bin de l'Université Jiao Tong de Shanghai, de l'Université du Centre-Sud pour les nationalités, de l'Université des sciences et technologies de Hong Kong (Guangzhou), de l'Université polytechnique de Hong Kong et de l'Université de Sydney, a proposé une méthode d'assemblage d'images d'endoscopie par capsule auto-supervisée et basée sur la correspondance de fragments, appelée S2P-Matching.**Cette méthode simule le comportement de prise de vue d'un endoscope à capsule dans le tractus gastro-intestinal, améliore les données d'origine, utilise l'apprentissage contrastif pour extraire les caractéristiques locales de l'image et effectue une correspondance au niveau du patch de l'image via le modèle Transformer. En fin de compte, la correspondance peut être affinée au niveau du pixel, ce qui peut améliorer considérablement la précision et le taux de réussite de l'assemblage d'images et améliorer la capacité à détecter et à diagnostiquer les maladies gastro-intestinales à un stade précoce.

Ce résultat, intitulé « S2P-Matching : Self-supervised Patch-based Matching Using Transformer for Capsule Endoscopic Images Stitching », a été accepté pour publication dans IEEE Transactions on Biomedical Engineering, une revue internationale de premier plan dans le domaine de l'ingénierie biomédicale.

Points saillants de la recherche :

* Comparé à d'autres méthodes existantes, S2P-Matching est plus performant dans la correspondance d'images MCCE réelles, en particulier pour résoudre les problèmes de parallaxe et de texture faible des images gastro-intestinales. La précision de correspondance et le taux de réussite sont améliorés respectivement de 187,9% et 55,8%.

* S2P-Matching génère un ensemble de données d'images simulées en simulant le comportement de prise de vue d'un endoscope à capsule, ce qui peut aider le modèle à apprendre les caractéristiques de l'image sous différentes perspectives

* Les chercheurs ont proposé la méthode S2P-Matching, qui comble le manque de précision des endoscopes traditionnels en matière de couture et de positionnement, aidant ainsi les médecins à observer le tractus gastro-intestinal de manière plus complète et plus claire, améliorant ainsi l'efficacité du dépistage des maladies gastro-intestinales et favorisant ainsi une application plus large de la technologie endoscopique non invasive dans la pratique clinique.

Adresse du document : http://dx.doi.org/10.1109/TBME.2024.3462502

Suivez le compte officiel et répondez « Capsule Endoscopy » pour obtenir le PDF complet

Le projet open source « awesome-ai4s » rassemble plus de 100 interprétations d'articles AI4S et fournit des ensembles de données et des outils massifs :

https://github.com/hyperai/awesome-ai4s

Ensemble de données : couvrant plus de 20 000 données de tir cliniques, étiquetées avec précision par des médecins professionnels

**Les chercheurs se sont concentrés sur l’analyse d’une série d’images continues de zones d’intérêt pour les experts médicaux dans des scénarios cliniques réels et ont sélectionné des dossiers d’examen d’endoscopie par capsule provenant d’un hôpital national de 2016 à 2019.**Pour vérifier l’efficacité et la précision de S2P-Matching, ils ont sélectionné des images prises en continu par des endoscopes à capsule pendant des périodes relativement stables comme ensembles de données d’entraînement et de test. Ces images ont été prises toutes les 0,5 secondes et la résolution spatiale de chaque image était de 480 × 480 pixels.

Plus précisément, pour assurer un regroupement aléatoire et optimiser la comparaison des effets de couture, les chercheurs ont sélectionné au hasard des échantillons à partir des données de 213 patients et ont extrait n × 10 images consécutives (n allant de 5 à 15) de la séquence d'images de chaque patient, obtenant un total de 21 526 images. Après un examen rigoureux, 20 862 images de haute qualité ont finalement été retenues. Sur cette base, les chercheurs ont sélectionné 528 images pour former un ensemble de tests et ont invité deux médecins collaborateurs à marquer avec précision les points correspondants sur ces images.

Architecture du modèle : Patch Transformation, Self-Supervised Transformer vous emmène dans un voyage fluide vers l'endoscopie par capsule

**S2P-Matching introduit une méthode d'apprentissage contrastif auto-supervisé améliorée, qui utilise un encodeur à double branche pour extraire des caractéristiques locales et utilise ces caractéristiques pour former un modèle de transformateur pour la correspondance d'images au niveau du patch, qui est finalement affiné en correspondance au niveau du pixel via la méthode Patch-to-Pixel.**Le processus principal comprend cinq parties : l'augmentation des données, l'extraction approfondie des descripteurs de caractéristiques, la correspondance au niveau du patch, l'affinage au niveau du pixel et le filtrage des correspondances correctes, comme illustré dans la figure suivante :

*** Augmentation des données :**Le rôle de cette partie est l'amélioration des données, c'est-à-dire la simulation du comportement de la caméra endoscopique à capsule dans le tractus gastro-intestinal par transformation affine, la génération d'images de référence multi-vues, l'aide au modèle pour apprendre les caractéristiques de l'image à partir de différents points de vue et l'évitement de la complexité de l'étiquetage manuel.

*** Extraction de caractéristiques (extraction approfondie de descripteurs de caractéristiques) :**Le rôle de cette partie est d'extraire des descripteurs de caractéristiques profondes, c'est-à-dire d'extraire des caractéristiques locales à l'aide d'une technologie d'apprentissage contrastif améliorée. Plus précisément, un encodeur à double branche est utilisé pour extraire les caractéristiques des patchs d'image et des patchs d'arrière-plan respectivement, et ces caractéristiques sont concaténées pour former un descripteur de caractéristiques approfondi pour la correspondance.

*** Correspondance au niveau du patch :**Cette partie utilise un modèle basé sur Transformer pour la correspondance au niveau des patchs d'image. Le modèle étend son champ réceptif grâce à un mécanisme d'auto-attention multi-têtes pour identifier efficacement différentes paires de patchs correspondants dans l'image. De plus, une matrice de probabilité de correspondance est générée via une opération dual-softmax pour déterminer la confiance de l'appariement des patchs.

*** Affiner pour une correspondance au niveau du pixel :**Cette partie affine l'image de la correspondance au niveau du patch à la correspondance au niveau du pixel. Autrement dit, sur la base de la correspondance au niveau du patch, la méthode Patch-to-Pixel est utilisée pour affiner la correspondance au niveau du pixel afin d'améliorer encore la précision de l'assemblage.

*** Filtrage de correspondance correct :**Déterminez les paires correspondantes correctes, c'est-à-dire utilisez l'algorithme MAGSAC pour filtrer les paires correspondantes incorrectes afin de garantir des résultats de correspondance précis au niveau des pixels.

En combinant l'augmentation des données, l'apprentissage contrastif, les réseaux de transformateurs et la correspondance au niveau des pixels,**La correspondance S2P peut améliorer efficacement la précision de la correspondance et de l'assemblage des images endoscopiques, en particulier dans les cas de texture faible, de prise de vue rapprochée et de rotation, ce qui offre une valeur d'application potentielle pour le dépistage gastro-intestinal basé sur le MCCE.**À l’avenir, les chercheurs élargiront encore les scénarios d’application de cette méthode, comme la gestion de conditions d’éclairage complexes, de bulles, de flou et d’occlusion.

Conclusion expérimentale : Correspondance + épissage, la correspondance S2P est polyvalente dans les images d'endoscopie par capsule

Pour évaluer les performances de la méthode S2P-Matching, les chercheurs ont comparé ses effets de correspondance d'images avec d'autres algorithmes de correspondance d'images avancés actuels (tels que CAPS, ASIFT, DeepMatching, R2D2, SuperPoint, etc.). Parmi eux, l'ensemble de données utilisé pour l'expérience contient des images d'endoscopie par capsule collectées de 2016 à 2019, couvrant une variété de scènes complexes telles que des textures faibles, des prises de vue rapprochées et une rotation à grand angle.

Comme le montre le tableau ci-dessous, les résultats de la recherche montrent que dans tous les types expérimentaux (texture faible, gros plan, rotation à grand angle), S2P-Matching présente les scores NCM (nombre de points correctement appariés) et SR (taux de réussite) les plus élevés, avec un NCM moyen de 311 et un SR moyen de 81,7%.Par rapport aux algorithmes traditionnels, la précision de correspondance de S2P-Matching est considérablement améliorée.

Les chercheurs ont sélectionné trois ensembles d’images provenant de différents ensembles de données (texture faible, gros plans et rotations à grand angle). Et comparez les résultats correspondants de différentes méthodes. Diagramme visuel. Chaque paire d'images d'entrée comprend 2 images d'endoscopie par capsule prises à un intervalle de 0,5 seconde. Les 3 paires d'images de chaque colonne sont prises à des positions très proches et il existe une variation de rotation. Les lignes blanches représentent les paires correspondantes, c'est-à-dire les résultats correspondants. Les images visuelles des résultats de correspondance d'images obtenus par différentes méthodes sont présentées dans la figure suivante :

On peut voir que de la première à la troisième rangée, à mesure que la texture s'affaiblit et que les zones répétées augmentent, le nombre de paires correspondantes obtenues par diverses méthodes de correspondance diminue à des degrés divers. Par exemple, CAPS et ASIFT ne peuvent extraire qu'un petit nombre de paires correspondantes, et il existe des paires correspondantes incorrectes, ce qui entraîne des erreurs dans l'assemblage final de l'image. DeepMatching ne peut également extraire qu'un nombre limité de paires correspondantes. Le nombre de correspondances entre R2d2 et SuperPoint est important, mais il existe de nombreuses paires de correspondances inexactes. SuperGlue, LoFTR et TransforMatcher ont moins de correspondances correctes. Par rapport à d’autres méthodes,S2P-Matching permet d'obtenir les meilleures performances de correspondance de fonctionnalités et peut extraire un nombre suffisant de paires de correspondance importantes sans interférence d'impuretés et de transformations évidentes, garantissant ainsi l'assemblage final de l'image.

Dans les applications cliniques, les endoscopes à capsule ont une gamme limitée d'images prises à chaque fois, ce qui rend difficile pour les médecins d'observer la zone d'intérêt dans un champ de vision plus large, ce qui peut affecter la précision du diagnostic. En règle générale, une région d’intérêt complète implique plusieurs images consécutives avec un chevauchement partiel. Il est donc très important d’obtenir une couture continue des images d’endoscopie par capsule.

Comme le montre la figure ci-dessous, les chercheurs ont comparé différentes méthodes d’assemblage d’images continues d’endoscopie par capsule et ont constaté que :S2P-Matching a l'effet de couture le plus naturel et la précision de couture la plus élevée, et peut traiter efficacement les problèmes difficiles tels que la texture et la rotation de l'image faible. Comparé à d'autres algorithmes, cette méthode génère le plus de paires correspondantes et les résultats de couture ne présentent aucun problème évident tel qu'un désalignement de texture, une suréchelle et une connexion de texture.

De plus, les chercheurs ont mené des expériences d’ablation pour étudier l’impact de différents modules sur l’effet final. Les résultats montrent que le cadre S2P-Matching qui combine des dérivés d'images et des descripteurs de caractéristiques profondes peut améliorer considérablement la précision de la correspondance d'images, en particulier lors du traitement d'images d'endoscopie capsulaire complexes. De plus, S2P-Matching fonctionne bien dans le traitement des images prises avec une rotation à différents angles et peut bien s'adapter aux tâches de correspondance d'images avec des rotations à grand angle, avec une meilleure précision que les autres méthodes.

En résumé, S2P-Matching a obtenu une précision de correspondance plus élevée et un meilleur effet de couture dans les tâches complexes de correspondance d'images d'endoscopie par capsule, en particulier dans des situations complexes telles que la texture faible, la rotation et la prise de vue à courte portée.

Le leader des soins de santé intelligents

Avec les progrès de la technologie médicale, les endoscopes à capsule sont devenus une « petite lentille » permettant d’explorer le monde interne du corps humain. Avec le soutien de l’IA, cette méthode d’examen non invasive réduit non seulement la douleur des patients, mais fournit également aux médecins une base de diagnostic précieuse.

**Il convient de mentionner que le premier auteur de l’article, le professeur Lu Feng de l’Université des sciences et technologies de Huazhong, continue de prêter attention à l’application de l’IA dans le diagnostic et le traitement des maladies.**En plus des recherches ci-dessus, elle a également collaboré avec l'équipe de l'Université de Sydney pour publier un article intitulé « Cadre de classification des lésions à grain fin pour le diagnostic auxiliaire précoce » dans IEEE/ACM Transactions on Computational Biology and Bioinformatics, proposant un cadre de classification des lésions à grain fin pour l'endoscopie par capsule. Ce cadre peut identifier avec précision les lésions candidates de différentes tailles à partir d'images médicales issues de l'endoscopie par capsule, aidant ainsi les médecins à établir un diagnostic précoce.

Article original : https://ieeexplore.ieee.org/abstract/document/10077722

**Le professeur Lu Feng a obtenu des résultats fructueux dans ses recherches.**Il a publié plus de 30 articles universitaires dans des revues et conférences internationales de premier plan telles que Nat Med, IEEE Network, TBME, TCBB, TIOT, AAAI, et a remporté de nombreux brevets et prix techniques nationaux et internationaux.

Page d'accueil personnelle de Lu Feng : http://faculty.hust.edu.cn/lufeng2/zh_CN/index.htm

**Son équipe de recherche est affiliée au laboratoire CGCL de l'Université des sciences et technologies de Huazhong.**Le laboratoire est une équipe d'innovation dans des domaines clés du ministère des Sciences et de la Technologie, l'unité dirigeante de l'équipe d'innovation du « Programme de développement des équipes d'innovation et des chercheurs de Changjiang » du ministère de l'Éducation et une équipe d'innovation de la Fondation des sciences naturelles du Hubei. Il a mené près de 400 projets de recherche scientifique et dispose de riches ressources en données médicales et en ressources informatiques. C'est l'un des rares laboratoires au monde capable de réaliser des analyses de données à grande échelle au niveau industriel et des recherches médicales intelligentes.
Page d'accueil du laboratoire CGCL de l'Université des sciences et technologies de Huazhong : https://grid.hust.edu.cn/

**L'équipe du professeur Lu Feng a non seulement obtenu des résultats remarquables grâce à sa propre excellente technologie et à ses ressources abondantes, mais a également activement recherché une coopération avec les meilleures universités nationales et étrangères. Par exemple, dans le cadre des recherches menées dans le cadre de cet article, l’équipe de Lu Feng a coopéré avec le professeur Sheng Bin, un chercheur de haut niveau dans le domaine de la médecine de l’IA.**Le professeur Sheng Bin s’intéresse depuis longtemps à l’application de l’IA en médecine et a publié une série de résultats de recherche dans ce domaine. Par exemple, nous avons construit le premier système intégré de modèle de langage visuel à grande échelle au monde, DeepDR-LLM, pour le diagnostic et le traitement du diabète, fournissant aux médecins de soins primaires des conseils personnalisés en matière de gestion du diabète et des résultats de diagnostic auxiliaires pour la rétinopathie diabétique.
Plus de détails : La première mondiale ! L'Université Tsinghua/Université Jiaotong de Shanghai et d'autres construisent conjointement un modèle de langage visuel pour le diagnostic et le traitement du diabète, publié dans Nature

À l’avenir, grâce aux efforts conjoints de ces chercheurs exceptionnels, nous espérons parvenir à un diagnostic médical plus précis et plus efficace et améliorer efficacement l’expérience médicale des patients.

Références : 1.https://gleneagles.hk/sc/medical-treatments/capsule-endoscopy
2.https://m.21jingji.com/article/20240409/herald/244d34d9d0c815096fa8f3a25ca5cced_zaker.html