Extraction d'entités structurelles et incorporation des indications du patient pour la génération de rapports de radiographie thoracique

La génération automatisée de rapports d'imagerie s'avère inestimable pour alléger la charge de travail des radiologues. Un algorithme de génération de rapports cliniquement applicable doit démontrer son efficacité dans la production de rapports qui décrivent précisément les résultats en radiologie et prennent en compte les indications spécifiques aux patients. Dans cet article, nous présentons une nouvelle méthode, l'extraction d'entités structurées et l'intégration des indications du patient (SEI) pour la génération de rapports à partir de radiographies thoraciques. Plus précisément, nous utilisons une approche d'extraction d'entités structurées (SEE) afin d'éliminer le vocabulaire stylistique des rapports et d'améliorer la qualité des séquences d'entités factuelles. Cela réduit le bruit dans le module d'alignement intermodal suivant en alignant les images de radiographie thoracique avec les séquences d'entités factuelles dans les rapports, ce qui améliore la précision de l'alignement intermodal et aide le modèle à retrouver des cas historiques similaires sans nécessiter de gradient. Ensuite, nous proposons un réseau de fusion intermodale pour intégrer les informations provenant des images de radiographie thoracique, des cas historiques similaires et des indications spécifiques aux patients. Ce processus permet au décodeur textuel de se concentrer sur les caractéristiques discriminantes des images de radiographie thoracique, d'intégrer les informations diagnostiques historiques issues de cas similaires et de comprendre l'intention d'examen du patient. Cela contribue à activer le décodeur textuel pour produire des rapports de haute qualité. Les expériences menées sur MIMIC-CXR ont validé la supériorité de SEI par rapport aux approches les plus avancées actuellement disponibles, tant sur les métriques de génération naturelle du langage que sur celles d'efficacité clinique.