Segmentation Côarse à Fine du Covid-19 par Alignement Vision-Language

La segmentation des lésions liées au COVID-19 peut aider les médecins à améliorer le diagnostic et le traitement du virus. Toutefois, peu d’études ont été menées à ce jour en raison du manque d’informations détaillées et d’annotations de haute qualité dans les jeux de données liés au COVID-19. Pour résoudre ce problème, nous proposons C2FVL, un cadre de segmentation de type grossier-vers-fin basé sur l’alignement vision-langage, permettant d’intégrer des informations textuelles concernant le nombre de lésions ainsi que leur localisation précise dans les images. L’introduction de ces données textuelles permet au réseau d’obtenir des résultats de prédiction plus performants sur des jeux de données particulièrement difficiles. Nous avons mené des expériences approfondies sur deux jeux de données de COVID-19, comprenant des radiographies thoraciques et des scanners CT. Les résultats démontrent que la méthode proposée surpasser les autres méthodes d’état de l’art en segmentation.