4D-OR : Graphes de scène sémantiques pour la modélisation du domaine OR

Les procédures chirurgicales sont menées dans des salles de bloc opératoire (SBO) extrêmement complexes, impliquant divers acteurs, équipements et interactions. À ce jour, seuls des experts humains formés médicalement sont capables de comprendre l’ensemble des liens et interactions dans un tel environnement exigeant. Ce papier vise à faire avancer la communauté d’un pas vers une compréhension automatisée, holistique et sémantique du domaine des salles de bloc opératoire, ainsi qu’une modélisation de ce dernier. À cette fin, pour la première fois, nous proposons d’utiliser des graphes scéniques sémantiques (SSG, Semantic Scene Graphs) afin de décrire et synthétiser la scène chirurgicale. Les nœuds de ces graphes représentent différents acteurs et objets présents dans la salle — tels que le personnel médical, les patients ou les équipements médicaux — tandis que les arêtes modélisent les relations entre eux. Pour valider les potentialités de cette représentation proposée, nous avons créé le premier jeu de données public de SSG chirurgicaux 4D, appelé 4D-OR, comprenant dix chirurgies simulées de remplacement total du genou, enregistrées à l’aide de six capteurs RGB-D dans un centre de simulation réaliste de salle de bloc opératoire. Le jeu de données 4D-OR contient 6 734 images et est enrichi d’annotations détaillées incluant des SSG, des poses humaines et d’objets, ainsi que des rôles cliniques. Nous proposons également une pipeline de génération de SSG basée sur un réseau neuronal end-to-end, atteignant un taux de succès de 0,75 en macro F1, démontrant ainsi la capacité à inférer des raisonnements sémantiques dans le contexte chirurgical. Nous illustrons par ailleurs le pouvoir expressif de nos graphes scéniques en les appliquant à la tâche de prédiction des rôles cliniques, où nous obtenons un score de 0,85 en macro F1. Le code source et le jeu de données seront rendus disponibles à l’acceptation du manuscrit.