Command Palette
Search for a command to run...
HistGen : Génération de rapports d'histopathologie par encodage de caractéristiques locales-globales et interaction contextuelle intermodale
HistGen : Génération de rapports d'histopathologie par encodage de caractéristiques locales-globales et interaction contextuelle intermodale
Zhengrui Guo; Jiabo Ma; Yingxue Xu; Yihui Wang; Liansheng Wang; Hao Chen
Résumé
L'histopathologie sert de référence en matière de diagnostic du cancer, les rapports cliniques étant essentiels pour interpréter et comprendre ce processus, guidant ainsi le traitement du cancer et les soins aux patients. L'automatisation de la génération des rapports d'histopathologie grâce à l'apprentissage profond pourrait considérablement améliorer l'efficacité clinique et alléger la charge de travail fastidieuse et chronophage des pathologistes dans la rédaction des rapports. Dans cette optique, nous présentons HistGen, un cadre basé sur l'apprentissage par apprentissage multi-instance pour la génération de rapports d'histopathologie, accompagné du premier ensemble de données de référence pour son évaluation. Inspiré par les flux de travail diagnostiques et de rédaction de rapports, HistGen intègre deux modules soigneusement conçus visant à améliorer la génération des rapports en alignant les images complètes des coupes (WSIs) et les rapports diagnostiques à partir d'une granularité locale et globale. Pour atteindre cet objectif, un encodeur hiérarchique local-global a été développé pour une agrégation efficace des caractéristiques visuelles d'une perspective régionale à celle du diapositif. Parallèlement, un module contextuel intermodal a été proposé afin de faciliter explicitement l'alignement et l'interaction entre différents modes, comblant efficacement l'écart entre les séquences visuelles étendues des WSIs et les rapports hautement résumés correspondants. Les résultats expérimentaux sur la génération de rapports WSI montrent que le modèle proposé surpasse largement les modèles d'avant-garde (SOTA). De plus, les résultats obtenus après l'affinage de notre modèle sur des tâches de sous-typage cancéreux et d'analyse de survie démontrent une performance supérieure comparée aux méthodes SOTA, mettant en lumière une forte capacité d'apprentissage par transfert. Le jeu de données, les poids du modèle et le code source sont disponibles sur https://github.com/dddavid4real/HistGen.