TGANet: Text-gesteuerte Aufmerksamkeit für verbesserte Polypensegmentierung

Die Koloskopie ist ein Goldstandardverfahren, hängt jedoch stark von der Fähigkeit des Operators ab. Automatisierte Polypensegmentierung, ein präkanzeröses Vorstadium, kann die Rate übersehenen Polype minimieren und eine frühzeitige Behandlung des Darmkrebses ermöglichen. Obwohl für diese Aufgabe Deep-Learning-Methoden entwickelt wurden, kann die Variabilität der Polypengröße das Modelltraining beeinflussen und es auf die Größenattribute der Mehrheit der Trainingsdatensätze beschränken, was zu suboptimalen Ergebnissen bei unterschiedlich großen Polypen führen kann. In dieser Arbeit nutzen wir grösenspezifische und polypenzahlbezogene Merkmale in Form von Textaufmerksamkeit während des Trainings. Wir führen eine zusätzliche Klassifikationsaufgabe ein, um den textbasierten Embedding zu gewichten, was dem Netzwerk ermöglicht, zusätzliche Merkmalsrepräsentationen zu lernen, die sich gezielt an unterschiedlich große Polype anpassen können und auch bei Fällen mit mehreren Polypen flexibel reagieren. Unsere experimentellen Ergebnisse zeigen, dass diese hinzugefügten Textembeddings die Gesamtleistung des Modells im Vergleich zu den neuesten Segmentierungsverfahren verbessern. Wir untersuchen vier verschiedene Datensätze und geben Einblicke in grössenspezifische Verbesserungen. Unser vorgeschlagenes textgeleitetes Aufmerksamkeitsnetzwerk (TGANet) verallgemeinert sich gut auf variabel große Polype in verschiedenen Datensätzen.