TGANet : Attention guidée par le texte pour une segmentation améliorée des polypes

La coloscopie est une procédure de référence, mais elle dépend fortement de l'opérateur. La segmentation automatique des polypes, qui sont des précurseurs précancéreux, peut minimiser les taux de manquement et permettre un traitement opportun du cancer colorectal à un stade précoce. Bien que des méthodes d'apprentissage profond aient été développées pour cette tâche, la variabilité de la taille des polypes peut affecter l'entraînement du modèle, le limitant aux attributs de taille de la majorité des échantillons dans l'ensemble de données d'entraînement, ce qui peut entraîner des résultats sous-optimaux pour les polypes de tailles différentes. Dans cette étude, nous exploitons les caractéristiques liées à la taille et au nombre de polypes sous forme d'attention textuelle pendant l'entraînement. Nous introduisons une tâche de classification auxiliaire pour pondérer l'embedding basé sur le texte, ce qui permet au réseau d'apprendre des représentations de caractéristiques supplémentaires capables de s'adapter distinctement aux polypes de tailles différentes et de s'ajuster aux cas avec plusieurs polypes. Nos résultats expérimentaux montrent que ces embeddings textuels ajoutés améliorent les performances globales du modèle par rapport aux méthodes de segmentation les plus avancées actuellement disponibles. Nous explorons quatre ensembles de données différents et fournissons des insights sur les améliorations spécifiques à la taille. Notre réseau d'attention guidée par le texte (TGANet) peut bien généraliser aux polypes de tailles variables dans différents ensembles de données.