LABRAD-OR : Graphes de scène à mémoire légère pour un raisonnement bimodal précis dans les salles d'opération dynamiques

Les chirurgies modernes sont effectuées dans des environnements complexes et dynamiques, caractérisés par des interactions en constante évolution entre le personnel médical, les patients et les équipements. La modélisation holistique de la salle de chirurgie (OR) s’impose donc comme une tâche à la fois exigeante et essentielle, offrant un potentiel significatif pour optimiser la performance des équipes chirurgicales et favoriser le développement de nouvelles technologies chirurgicales visant à améliorer les résultats des patients. La représentation holistique des scènes chirurgicales sous forme de graphes de scène sémantiques (SGG), où les entités sont modélisées comme nœuds et leurs relations comme arêtes, apparaît comme une voie prometteuse pour une compréhension fine et sémantique des environnements opératoires. Nous proposons, pour la première fois, l’utilisation d’informations temporelles afin d’améliorer la précision et la cohérence de la modélisation holistique de la salle de chirurgie. Plus précisément, nous introduisons les graphes de scène à mémoire, dans lesquels les graphes de scène des étapes temporelles précédentes agissent comme une représentation temporelle guidant la prédiction actuelle. Nous avons conçu une architecture end-to-end qui fusionne intelligemment l’information temporelle issue de nos graphes de scène légers avec les informations visuelles provenant de nuages de points et d’images. Nous évaluons notre méthode sur le jeu de données 4D-OR et démontrons que l’intégration de la dimension temporelle conduit à des résultats plus précis et plus cohérents, avec une augmentation de +5 % et un nouveau record (SOTA) de 0,88 en F1 macro. Ce travail ouvre la voie à la représentation historique complète d’une chirurgie par des graphes de scène à mémoire, tout en améliorant la compréhension holistique en salle d’opération. L’introduction des graphes de scène comme représentations mémoire constitue un outil précieux pour de nombreuses tâches de compréhension temporelle.