Segmentation de polypes auto-induite lors de la coloscopie à l'aide du modèle hybride Yolo-SAM 2

Le diagnostic et le traitement précoces des polypes lors de la coloscopie sont essentiels pour réduire l'incidence et la mortalité du cancer colorectal (CRC). Cependant, la variabilité des caractéristiques des polypes et la présence d'artefacts dans les images et vidéos de coloscopie posent des défis considérables pour une détection et une segmentation précises et efficaces des polypes. Cet article présente une nouvelle approche de segmentation des polypes en intégrant le modèle Segment Anything Model (SAM 2) avec le modèle YOLOv8. Notre méthode utilise les prédictions de boîtes englobantes de YOLOv8 pour générer automatiquement des entrées pour SAM 2, réduisant ainsi le besoin d'annotations manuelles. Nous avons effectué des tests exhaustifs sur cinq jeux de données d'images de coloscopie de référence et deux jeux de données vidéo de coloscopie, démontrant que notre méthode dépasse les modèles de pointe dans les tâches de segmentation d'images et de vidéos. Notamment, notre approche atteint une haute précision de segmentation en utilisant uniquement des annotations par boîtes englobantes, réduisant considérablement le temps et l'effort nécessaires pour l'annotation. Cette avancée offre un potentiel prometteur pour améliorer l'efficacité et la scalabilité de la détection des polypes dans les environnements cliniques. https://github.com/sajjad-sh33/YOLO_SAM2.