PointNu-Net : Réseau neuronal convolutif assisté par des points clés pour la segmentation et la classification simultanées de noyaux histologiques multi-tissus

La segmentation et la classification automatiques des noyaux jouent un rôle crucial en pathologie numérique. Cependant, les travaux précédents sont principalement basés sur des données présentant une diversité limitée et de petites tailles, ce qui rend les résultats douteux ou trompeurs dans les tâches en aval réelles. Dans cet article, nous visons à développer une méthode fiable et robuste capable de traiter des données issues du « milieu clinique sauvage ». Plus précisément, nous étudions et concevons une nouvelle méthode permettant de détecter, segmenter et classifier simultanément les noyaux à partir de données histopathologiques colorées au Hématoxyline et Éosine (H&E), et nous évaluons notre approche en utilisant le plus grand ensemble de données récent : PanNuke.Nous abordons la détection et la classification de chaque noyau comme un problème novateur d'estimation sémantique des points clés pour déterminer le point central de chaque noyau. Ensuite, les masques correspondants indépendants de la classe pour les points centraux des noyaux sont obtenus par segmentation d'instances dynamique. Parallèlement, nous proposons un nouveau module de fusion pyramidal conjoint (Joint Pyramid Fusion Module, JPFM) pour modéliser les dépendances inter-échelles, ce qui améliore les caractéristiques locales pour une meilleure détection et classification des noyaux. En dissociant deux tâches simultanées complexes et en tirant parti du JPFM, notre méthode peut bénéficier d'une détection sensible aux classes et d'une segmentation indépendante des classes, conduisant ainsi à une augmentation significative des performances.Nous démontrons la supériorité de notre approche proposée pour la segmentation et la classification des noyaux sur 19 types tissulaires différents, en fournissant de nouveaux résultats de référence.