UGCANet: Ein einheitliches, kontextbewusstes Transformer-basiertes Netzwerk mit Merkmalsausrichtung für die endoskopische Bildanalyse

Die gastrointestinale Endoskopie ist ein medizinisches Verfahren, das einen flexiblen Schlauch verwendet, der mit einer Kamera und anderen Instrumenten ausgestattet ist, um den Verdauungstrakt zu untersuchen. Diese minimal-invasive Technik ermöglicht die Diagnostik und Therapie verschiedener gastrointestinale Erkrankungen, einschließlich der entzündlichen Darmerkrankungen, des gastrointestinale Blutungs und des Kolonkarzinoms. Die frühzeitige Erkennung und Identifizierung von Läsionen im oberen Gastrointestinaltrakt sowie die Identifizierung bösartiger Polypen, die ein Krebsentwicklungsrisiko darstellen können, sind entscheidende Bestandteile der diagnostischen und therapeutischen Anwendungen der gastrointestinalen Endoskopie. Daher kann die Steigerung der Erkennungsrate von gastrointestinalen Erkrankungen die Prognose eines Patienten erheblich verbessern, indem sie die Wahrscheinlichkeit einer rechtzeitigen medizinischen Intervention erhöht, was das Lebensalter des Patienten verlängern und die allgemeinen Gesundheitsauswirkungen verbessern kann. In dieser Arbeit wird ein neuartiges Transformer-basiertes tiefes neuronales Netzwerk vorgestellt, das mehrere Aufgaben gleichzeitig durchführen kann und somit eine genaue Identifizierung sowohl von Läsionen im oberen Gastrointestinaltrakt als auch von Kolonpolypen ermöglicht. Unser Ansatz schlägt ein einzigartiges Modul vor, das globale Kontextinformation berücksichtigt, und nutzt den leistungsfähigen MiT-Rumpf (MiT backbone) sowie einen Feature-Alignment-Block, um die Darstellungsfähigkeit des Netzes zu verbessern. Diese neuartige Gestaltung führt zu einem erheblichen Leistungsanstieg bei verschiedenen endoskopischen Diagnoseaufgaben. Umfangreiche Experimente zeigen die überlegene Leistung unserer Methode im Vergleich zu anderen Stand-der-Technik-Ansätzen.