Selbstinduzierte Polypensegmentierung bei Koloskopie mit hybriden Yolo-SAM 2 Modellen

Eine frühzeitige Diagnose und Behandlung von Polypen während der Koloskopie ist entscheidend für die Reduzierung der Inzidenz und Mortalität des Darmkarzinoms (Colorectal Cancer, CRC). Allerdings stellen die Variabilität der Polypeneigenschaften sowie die Präsenz von Artefakten in Koloskopiebildern und -videos erhebliche Herausforderungen für eine genaue und effiziente Polypendetektion und -segmentierung dar. In dieser Arbeit wird ein neuer Ansatz zur Polypensegmentierung vorgestellt, bei dem das Segment Anything Modell (SAM 2) mit dem YOLOv8-Modell integriert wird. Unsere Methode nutzt die Bounding-Box-Vorhersagen von YOLOv8, um Eingabeprompts für SAM 2 automatisch zu generieren, wodurch das Bedürfnis nach manuellen Annotationen reduziert wird. Wir haben umfangreiche Tests auf fünf Benchmark-Datensätzen von Koloskopiebildern und zwei Datensätzen von Koloskopievideos durchgeführt, die zeigen, dass unsere Methode sowohl in den Bild- als auch in den Videosegmentierungsaufgaben den Stand der Technik übertrifft. Besonders hervorzuheben ist, dass unser Ansatz hohe Segmentierungspräzision nur mit Bounding-Box-Annotationen erreicht, was die Annotationseffizienz und -Zeitaufwand erheblich verringert. Diese Fortschritte bieten das Potenzial, die Effizienz und Skalierbarkeit der Polypendetektion in klinischen Szenarien zu verbessern. https://github.com/sajjad-sh33/YOLO_SAM2.