Die Matching-Genauigkeitsrate Stieg Um 187,9%! Das CGCL-Labor Der Huazhong-Universität Für Wissenschaft Und Technologie Nutzt Selbstüberwachtes Lernen, Um Das Zusammenfügen Von Kapselendoskopie-Bildern Zu Unterstützen, Und Die Magen-Darm-Gesundheit Ist Auch in Den „Augen Am Himmel“ Zu Sehen.

Magen-Darm-Erkrankungen werden weltweit zu einer ernsten Herausforderung für die öffentliche Gesundheit. Laut Statistiken der Internationalen Agentur für Krebsforschung der Weltgesundheitsorganisation liegt die Häufigkeit von Magenerkrankungen in der Bevölkerung bei bis zu 80%. In China hat die Zahl der Patienten mit Magen-Darm-Erkrankungen 120 Millionen erreicht, und es gibt einen klaren Trend zu jüngeren Patienten.Es ist dringend erforderlich, auf die Magen-Darm-Gesundheit zu achten.

In diesem Zusammenhang hat die Mikrokapselendoskopie (MCCE) als fortschrittliches Diagnoseinstrument aufgrund ihrer nichtinvasiven, schmerzlosen und kreuzinfektionsfreien Eigenschaften große Aufmerksamkeit erregt.Insbesondere verfügt MCCE über eine in die Kapsel eingebaute drahtlose Kamera. Der Patient muss lediglich die Kapsel schlucken, die dann durch die Speiseröhre und den Magen gelangt und dann in den Dünndarm. Dabei werden Zehntausende von Bildern aufgenommen und auf der Festplatte des Patienten gespeichert. Schließlich wird die Kapsel auf natürlichem Wege mit dem Stuhl des Patienten aus dem Körper ausgeschieden. Anhand der aufgenommenen Bilder können Ärzte Magen-Darm-Erkrankungen oder abnormale Zustände schnell erkennen und so die medizinischen Schmerzen der Patienten erheblich lindern.  

Da die Bewegung des Kapselendoskops jedoch hauptsächlich von der Magen-Darm-Motilität abhängt, ist sein Aufnahmebereich begrenzt. Mit MCCE ist es schwierig, den spezifischen Bereich, auf den sich der Arzt konzentrieren möchte (d. h. den Bereich, der von Interesse ist), effektiv zu erfassen, und es können häufig nur eine große Anzahl fragmentierter Bilder mit nicht festgelegten Perspektiven erfasst werden. Diese Bilder weisen normalerweise Probleme auf, wie etwa eine schwache Textur, große Perspektivänderungen und Verformungen, wenn sie aus nächster Nähe aufgenommen werden.Dies stellt eine große Herausforderung für die Bildzusammenfügung und -positionierung dar und erschwert zudem die genaue Erkennung des Läsionsbereichs.

Als Reaktion darauf schlug das Team von Lu Feng von der Huazhong University of Science and Technology in Zusammenarbeit mit Sheng Bin von der Shanghai Jiao Tong University, der South-Central University for Nationalities, der Hong Kong University of Science and Technology (Guangzhou), der Hong Kong Polytechnic University und der University of Sydney eine selbstüberwachte, auf Fragment-Matching basierende Methode zum Zusammenfügen von Bildern bei der Kapselendoskopie namens S2P-Matching vor.Diese Methode simuliert das Aufnahmeverhalten eines Kapselendoskops im Magen-Darm-Trakt, verbessert die Originaldaten, verwendet kontrastives Lernen, um lokale Merkmale des Bildes zu extrahieren, und führt ein Patch-Level-Matching des Bildes durch das Transformer-Modell durch. Letztendlich kann die Zuordnung bis auf die Pixelebene verfeinert werden, was die Genauigkeit und Erfolgsrate der Bildzusammenfügung deutlich verbessern und die Fähigkeit zur Früherkennung und Diagnose von Magen-Darm-Erkrankungen verbessern kann.

Dieses Ergebnis mit dem Titel „S2P-Matching: Selbstüberwachtes Patch-basiertes Matching mithilfe eines Transformers zum Zusammenfügen endoskopischer Kapselbilder“ wurde zur Veröffentlichung in IEEE Transactions on Biomedical Engineering angenommen, einer führenden internationalen Fachzeitschrift auf dem Gebiet der Biomedizintechnik.

Forschungshighlights:

* Im Vergleich zu anderen bestehenden Methoden schneidet S2P-Matching beim tatsächlichen MCCE-Bildabgleich besser ab, insbesondere bei der Lösung der Parallaxe- und schwachen Texturprobleme von Magen-Darm-Bildern. Die Übereinstimmungsgenauigkeit und Erfolgsrate werden um 187,9% bzw. 55,8% verbessert.

* S2P-Matching generiert einen simulierten Bilddatensatz durch Simulation des Aufnahmeverhaltens eines Kapselendoskops, wodurch das Modell Bildmerkmale aus verschiedenen Perspektiven erlernen kann

* Die Forscher schlugen die S2P-Matching-Methode vor, die die Lücke schließt, die herkömmliche Endoskope beim genauen Nähen und Positionieren nicht erreichen können. Sie hilft Ärzten, den Magen-Darm-Trakt umfassender und klarer zu beobachten, verbessert die Effizienz des Screenings auf Magen-Darm-Erkrankungen und fördert so die breitere Anwendung nicht-invasiver endoskopischer Technologie in der klinischen Praxis

Papieradresse:
http://dx.doi.org/10.1109/TBME.2024.3462502

Folgen Sie dem offiziellen Konto und antworten Sie mit „Kapselendoskopie“, um das vollständige PDF zu erhalten

Das Open-Source-Projekt „awesome-ai4s“ vereint mehr als 100 AI4S-Papierinterpretationen und stellt umfangreiche Datensätze und Tools bereit:

https://github.com/hyperai/awesome-ai4s

Datensatz: Umfasst über 20.000 klinische Schießdaten, die von professionellen Ärzten präzise beschriftet wurden

Die Forscher konzentrierten sich auf die Analyse einer Reihe fortlaufender Bilder von Bereichen, die für medizinische Experten in tatsächlichen klinischen Szenarien von Interesse sind, und wählten Aufzeichnungen von Kapselendoskopie-Untersuchungen aus einem inländischen Krankenhaus aus den Jahren 2016 bis 2019 aus.Um die Wirksamkeit und Genauigkeit des S2P-Matchings zu überprüfen, wählten sie Bilder, die kontinuierlich während relativ stabiler Zeiträume von Kapselendoskopen aufgenommen wurden, als Trainings- und Testdatensätze aus. Diese Bilder wurden alle 0,5 Sekunden aufgenommen und die räumliche Auflösung jedes Bildes betrug 480 × 480 Pixel.

Um eine zufällige Gruppierung sicherzustellen und den Vergleich der Stitching-Effekte zu optimieren, wählten die Forscher zufällig Stichproben aus den Daten von 213 Patienten aus und extrahierten n×10 aufeinanderfolgende Frames (n lag im Bereich von 5 bis 15) aus der Bildsequenz jedes Patienten, wodurch insgesamt 21.526 Bilder entstanden. Nach einer gründlichen Prüfung wurden schließlich 20.862 qualitativ hochwertige Bilder ausgewählt. Auf dieser Grundlage wählten die Forscher 528 Bilder aus, um einen Testsatz zu bilden, und baten zwei mitarbeitende Ärzte, die übereinstimmenden Punkte auf diesen Bildern genau zu markieren.

Modellarchitektur: Patch Transformation, Self-Supervised Transformer nimmt Sie mit auf eine nahtlose Reise der Kapselendoskopie

S2P-Matching führt eine verbesserte selbstüberwachte kontrastive Lernmethode ein, die einen Dual-Branch-Encoder zum Extrahieren lokaler Merkmale verwendet und diese Merkmale nutzt, um ein Transformer-Modell für das Bild-Matching auf Patch-Ebene zu trainieren, das schließlich durch die Patch-to-Pixel-Methode weiter auf das Matching auf Pixel-Ebene verfeinert wird.Der Hauptprozess umfasst fünf Teile: Datenerweiterung, Deep Feature Descriptor Extraction, Patch Level Matching, Verfeinerung auf Pixel-Level-Matching und Filterung korrekter Korrespondenzen, wie in der folgenden Abbildung dargestellt:

* Datenerweiterung:Die Rolle dieses Teils besteht in der Datenverbesserung, d. h. darin, das Verhalten der Kapselendoskopkamera im Magen-Darm-Trakt durch affine Transformation zu simulieren, Referenzbilder mit mehreren Ansichten zu generieren, dem Modell dabei zu helfen, Bildmerkmale aus verschiedenen Blickwinkeln zu erlernen und die Komplexität der manuellen Beschriftung zu vermeiden.

* Merkmalsextraktion (Deep Feature Descriptor Extraction):Die Rolle dieses Teils besteht darin, tiefe Merkmalsdeskriptoren zu extrahieren, d. h. lokale Merkmale mithilfe einer verbesserten kontrastiven Lerntechnologie zu extrahieren. Insbesondere wird ein Dual-Branch-Encoder verwendet, um Merkmale aus Bild- und Hintergrundpatches zu extrahieren, und diese Merkmale werden verkettet, um einen tiefen Merkmalsdeskriptor für die Übereinstimmung zu bilden.

* Patch-Level-Matching:Dieser Teil verwendet ein Transformer-basiertes Modell für die Bild-Patch-Level-Anpassung. Das Modell erweitert sein rezeptives Feld durch einen Mehrkopf-Selbstaufmerksamkeitsmechanismus, um verschiedene Patch-Matching-Paare im Bild effektiv zu identifizieren. Darüber hinaus wird durch eine Dual-Softmax-Operation eine Matching-Wahrscheinlichkeitsmatrix generiert, um die Konfidenz der Patch-Paarung zu bestimmen.

* Verfeinern auf Pixel-Level-Matching:Dieser Teil verfeinert das Bild vom Patch-Level-Matching zum Pixel-Level-Matching. Das heißt, basierend auf der Übereinstimmung auf Patch-Ebene wird die Patch-to-Pixel-Methode verwendet, um die Übereinstimmung auf Pixelebene zu verfeinern und so die Stitching-Genauigkeit weiter zu verbessern.

* Korrekte Korrespondenzfilterung:Bestimmen Sie die richtigen Übereinstimmungspaare, d. h. verwenden Sie den MAGSAC-Algorithmus, um falsche Übereinstimmungspaare herauszufiltern und so genaue Übereinstimmungsergebnisse auf Pixelebene sicherzustellen.

Durch die Kombination von Datenerweiterung, kontrastivem Lernen, Transformer-Netzwerken und Pixel-Level-MatchingS2P-Matching kann die Matching- und Stitching-Genauigkeit von endoskopischen Bildern effektiv verbessern, insbesondere bei schwacher Textur, Nahaufnahmen und Rotation, was einen potenziellen Anwendungswert für das auf MCCE basierende gastrointestinale Screening bietet.In Zukunft werden die Forscher die Anwendungsszenarien dieser Methode weiter ausbauen, beispielsweise auf den Umgang mit komplexen Lichtverhältnissen, Blasen, Unschärfe und Okklusion.

Experimentelle Schlussfolgerung: Matching + Splicing, S2P-Matching ist vielseitig in Kapselendoskopiebildern

Um die Leistung der S2P-Matching-Methode zu bewerten, verglichen die Forscher ihre Bildabgleichseffekte mit anderen aktuellen fortschrittlichen Bildabgleichsalgorithmen (wie CAPS, ASIFT, DeepMatching, R2D2, SuperPoint usw.). Der für das Experiment verwendete Datensatz enthält unter anderem Kapselendoskopiebilder aus den Jahren 2016 bis 2019, die eine Vielzahl komplexer Szenen wie schwache Texturen, Nahaufnahmen und Rotationen mit großem Winkel abdecken.

Wie in der folgenden Tabelle dargestellt, zeigen die Forschungsergebnisse, dass S2P-Matching bei allen Versuchstypen (schwache Textur, Nahaufnahme, Rotation mit großem Winkel) die höchsten NCM- (Anzahl der korrekt zugeordneten Punkte) und SR-Werte (Erfolgsrate) aufweist, mit einem durchschnittlichen NCM von 311 und einem durchschnittlichen SR von 81,7%.Im Vergleich zu herkömmlichen Algorithmen ist die Übereinstimmungsgenauigkeit von S2P-Matching deutlich verbessert.

Die Forscher wählten drei Bildsätze aus unterschiedlichen Datensätzen aus (schwache Textur, Nahaufnahmen und Rotationen mit großem Winkel). Und vergleichen Sie die Übereinstimmungsergebnisse verschiedener Methoden. Visuelles Diagramm. Jedes Paar von Eingabebildern umfasst 2 Kapselendoskopiebilder, die im Abstand von 0,5 Sekunden aufgenommen wurden. Die drei Bildpaare in jeder Spalte wurden an sehr nahe beieinander liegenden Positionen aufgenommen und weisen Rotationsabweichungen auf. Die weißen Linien stellen die korrespondierenden Paare, also die übereinstimmenden Ergebnisse dar. Die visuellen Darstellungen der mit verschiedenen Methoden erzielten Bildabgleichsergebnisse sind in der folgenden Abbildung dargestellt:

Es ist ersichtlich, dass von der ersten zur dritten Reihe die Anzahl der durch verschiedene Übereinstimmungsmethoden erhaltenen Übereinstimmungspaare in unterschiedlichem Maße abnimmt, da die Textur schwächer wird und die wiederholten Bereiche zunehmen. Beispielsweise können CAPS und ASIFT nur eine kleine Anzahl übereinstimmender Paare extrahieren, und es gibt falsche übereinstimmende Paare, was zu Fehlern beim endgültigen Zusammenfügen der Bilder führt. DeepMatching kann außerdem nur eine begrenzte Anzahl passender Paare extrahieren. Die Anzahl der Übereinstimmungen zwischen R2d2 und SuperPoint ist groß, es gibt jedoch viele ungenaue Übereinstimmungspaare. SuperGlue, LoFTR und TransforMatcher haben weniger richtige Übereinstimmungen. Im Vergleich zu anderen MethodenS2P-Matching erzielt die beste Feature-Matching-Leistung und kann eine ausreichende Anzahl wichtiger passender Paare ohne Störungen durch Verunreinigungen und offensichtliche Transformationen extrahieren und so die endgültige Bildzusammenfügung sicherstellen.

Bei klinischen Anwendungen ist die Anzahl der von Kapselendoskopen aufgenommenen Bilder begrenzt. Dadurch ist es für Ärzte schwierig, den betreffenden Bereich in einem größeren Sichtfeld zu beobachten, was die diagnostische Genauigkeit beeinträchtigen kann. Normalerweise umfasst ein vollständiger Interessenbereich mehrere aufeinanderfolgende Bilder mit teilweiser Überlappung. Daher ist es sehr wichtig, eine kontinuierliche Zusammenfügung der Kapselendoskopiebilder zu erreichen.

Wie in der Abbildung unten gezeigt, verglichen die Forscher verschiedene Methoden zum Zusammenfügen kontinuierlicher Einzelbilder von Kapselendoskopiebildern und fanden Folgendes heraus:S2P-Matching bietet den natürlichsten Stitching-Effekt und die höchste Stitching-Genauigkeit und kann schwierige Probleme wie schwache Bildtextur und -rotation effektiv bewältigen. Im Vergleich zu anderen Algorithmen generiert diese Methode die meisten passenden Paare und die Stitching-Ergebnisse weisen keine offensichtlichen Probleme wie Textur-Fehlausrichtung, Überskalierung und Texturverbindung auf.

Darüber hinaus führten die Forscher Ablationsexperimente durch, um den Einfluss verschiedener Module auf den Endeffekt zu untersuchen. Die Ergebnisse zeigen, dass das S2P-Matching-Framework, das Bildableitungen und tiefe Merkmalsdeskriptoren kombiniert, die Genauigkeit des Bildabgleichs erheblich verbessern kann, insbesondere bei der Verarbeitung komplexer Kapselendoskopiebilder. Darüber hinaus eignet sich S2P-Matching gut zur Verarbeitung von Bildern, die mit Drehungen in unterschiedlichen Winkeln aufgenommen wurden, und kann sich gut an Bildabgleichsaufgaben mit großen Winkeldrehungen anpassen, und zwar mit besserer Genauigkeit als andere Methoden.

Zusammenfassend lässt sich sagen, dass S2P-Matching bei komplexen Bildabgleichsaufgaben in der Kapselendoskopie eine höhere Abgleichsgenauigkeit und einen besseren Stitching-Effekt erzielt hat, insbesondere in komplexen Situationen wie schwacher Textur, Rotation und Aufnahmen aus nächster Nähe.

Der Marktführer im Bereich intelligente Gesundheitsfürsorge

Mit dem Fortschritt der Medizintechnik sind Kapselendoskope zu einer „kleinen Linse“ für die Erforschung der inneren Welt des menschlichen Körpers geworden. Mithilfe von KI lindert diese nicht-invasive Untersuchungsmethode nicht nur die Schmerzen der Patienten, sondern liefert Ärzten auch wertvolle Diagnosegrundlagen.

Erwähnenswert ist, dass der Erstautor des Artikels, Professor Lu Feng von der Huazhong University of Science and Technology, sich weiterhin mit der Anwendung von KI bei der Diagnose und Behandlung von Krankheiten beschäftigt.Zusätzlich zu der oben genannten Forschung arbeitete sie auch mit dem Team der Universität Sydney zusammen, um einen Artikel mit dem Titel „Fine-Grained Lesion Classification Framework for Early Auxiliary Diagnosis“ in IEEE/ACM Transactions on Computational Biology and Bioinformatics zu veröffentlichen, in dem ein feinkörniger Rahmen für die Klassifizierung von Läsionen für die Kapselendoskopie vorgeschlagen wird. Dieses Framework kann potenzielle Läsionen unterschiedlicher Größe anhand medizinischer Bilder aus der Kapselendoskopie genau identifizieren und Ärzte so bei der Frühdiagnose unterstützen.

Originalarbeit:
https://ieeexplore.ieee.org/abstract/document/10077722

Professor Lu Feng hat in seiner Forschung fruchtbare Ergebnisse erzielt.Er hat mehr als 30 wissenschaftliche Arbeiten in führenden internationalen Fachzeitschriften und Konferenzen wie Nat Med, IEEE Network, TBME, TCBB, TIOT und AAAI veröffentlicht und zahlreiche nationale und internationale Patente sowie technische Auszeichnungen gewonnen.

Lu Fengs persönliche Homepage:
http://faculty.hust.edu.cn/lufeng2/zh_CN/index.htm

Ihr Forschungsteam ist dem CGCL-Labor der Huazhong University of Science and Technology angeschlossen.Das Labor ist ein Innovationsteam in Schlüsselbereichen des Ministeriums für Wissenschaft und Technologie, die führende Einheit des Innovationsteams des „Changjiang Scholars and Innovation Team Development Program“ des Bildungsministeriums und ein Innovationsteam der Hubei Natural Science Foundation. Es wurden fast 400 wissenschaftliche Forschungsprojekte durchgeführt und es verfügt über umfangreiche medizinische Datenressourcen und Computerressourcen. Es ist eines der wenigen Labore weltweit, das groß angelegte Datenanalysen und intelligente medizinische Forschung auf industriellem Niveau durchführen kann.
Homepage des CGCL-Labors der Huazhong University of Science and Technology:
https://grid.hust.edu.cn/

Das Team von Professor Lu Feng hat nicht nur mit seiner eigenen hervorragenden Technologie und seinen umfangreichen Ressourcen bemerkenswerte Ergebnisse erzielt, sondern auch aktiv die Zusammenarbeit mit Spitzenuniversitäten im In- und Ausland gesucht. Beispielsweise arbeitete Lu Fengs Team bei der Recherche zu diesem Artikel mit Professor Sheng Bin zusammen, einem erfahrenen Wissenschaftler auf dem Gebiet der KI-Medizin.Professor Sheng Bin beschäftigt sich seit langem mit der Anwendung von KI in der Medizin und hat eine Reihe von Forschungsergebnissen auf diesem Gebiet veröffentlicht. Beispielsweise haben wir das weltweit erste integrierte visuelle Großsprachenmodellsystem DeepDR-LLM für die Diagnose und Behandlung von Diabetes entwickelt, das Allgemeinmedizinern personalisierte Ratschläge zum Diabetesmanagement und zusätzliche Diagnoseergebnisse für die diabetische Retinopathie bietet.
Mehr Details: Die Weltneuheit! Die Tsinghua-Universität/Shanghai Jiaotong-Universität und andere entwickeln gemeinsam ein visuelles Großsprachenmodell für die Diagnose und Behandlung von Diabetes, veröffentlicht in Nature

Wir freuen uns darauf, in Zukunft durch die gemeinsamen Anstrengungen dieser herausragenden Forscher genauere und effizientere medizinische Diagnosen zu erreichen und die medizinische Erfahrung der Patienten effektiv zu verbessern.

Quellen:
1.https://gleneagles.hk/sc/medical-treatments/capsule-endoscopy
2.https://m.21jingji.com/article/20240409/herald/244d34d9d0c815096fa8f3a25ca5cced_zaker.html