MM-OR : Un grand jeu de données multimodal pour la salle d’opération afin de comprendre sémantiquement les environnements chirurgicaux à haute intensité

Les salles de chirurgie (OR) sont des environnements complexes et à haut risque, nécessitant une compréhension précise des interactions entre le personnel médical, les outils et l’équipement afin d’améliorer l’assistance chirurgicale, la prise de conscience situationnelle et la sécurité des patients. Les jeux de données actuels se révèlent insuffisants en termes d’échelle, de réalisme et ne capturent pas la nature multimodale des scènes OR, ce qui freine les progrès dans la modélisation des salles de chirurgie. À cet effet, nous introduisons MM-OR, un jeu de données multimodale spatio-temporelle réaliste et de grande échelle dédiée aux salles de chirurgie, et le premier jeu de données permettant la génération de graphes de scène multimodaux. MM-OR capture des scènes OR complètes incluant des données RGB-D, des vues détaillées, des enregistrements audio, des transcriptions de parole, des journaux de robotique et des données de suivi, et est annoté avec des segmentation panoptique, des graphes de scène sémantiques et des étiquettes pour des tâches ultérieures. Par ailleurs, nous proposons MM2SG, le premier modèle vision-langage multimodal à grande échelle pour la génération de graphes de scène, dont les expérimentations approfondies démontrent la capacité à exploiter efficacement les entrées multimodales. Ensemble, MM-OR et MM2SG établissent une nouvelle référence pour la compréhension holistique des salles de chirurgie, ouvrant la voie à l’analyse multimodale des scènes dans des environnements complexes et à haut risque. Notre code et les données sont disponibles à l’adresse suivante : https://github.com/egeozsoy/MM-OR.