Faites comme un radiologue : génération de rapports de radiologie à travers les régions anatomiques

L’automatisation de la génération de rapports de radiologie peut alléger la charge de travail des radiologues. Toutefois, les travaux existants se concentrent principalement sur la région thoracique en raison de la faible disponibilité de jeux de données publics pour d’autres régions anatomiques. En outre, ces approches s’appuient souvent sur des méthodes naïves basées sur les données, par exemple un cadre fondé sur un encodeur-décodeur simple avec une perte de captioning, ce qui limite leur capacité à reconnaître des motifs complexes à travers des régions anatomiques diverses. Pour relever ces défis, nous proposons X-RGen, un cadre de génération de rapports inspiré par les radiologues, applicable à six régions anatomiques. Dans X-RGen, nous cherchons à imiter le comportement des radiologues humains en les décomposant en quatre phases principales : 1) observation initiale, 2) analyse trans-régionnelle, 3) interprétation médicale et 4) rédaction du rapport. Premièrement, nous utilisons un encodeur d’image pour l’extraction de caractéristiques, analogue à un examen préliminaire effectué par un radiologue. Deuxièmement, nous améliorons la capacité de reconnaissance de l’encodeur d’image en analysant conjointement des images et des rapports provenant de différentes régions, ce qui simule la manière dont les radiologues acquièrent leur expérience et perfectionnent leurs compétences à partir de cas antérieurs. Troisièmement, tout comme les radiologues appliquent leur expertise pour interpréter les images, nous intégrons des connaissances radiologiques couvrant plusieurs régions anatomiques afin d’analyser plus profondément les caractéristiques d’un point de vue clinique. Enfin, nous générons les rapports à partir des caractéristiques médicalement informées à l’aide d’un décodeur textuel auto-régressif classique. Des évaluations basées sur des métriques de génération de langage naturel (NLG) et d’efficacité clinique démontrent l’efficacité de X-RGen sur six jeux de données de radiographies. Le code source et les points de contrôle sont disponibles à l’adresse suivante : https://github.com/YtongXie/X-RGen.