HyperAIHyperAI

Command Palette

Search for a command to run...

4D-OR : Graphes de scène sémantiques pour la modélisation du domaine OR

Ege Özsoy Evin Pınar Örnek Ulrich Eck Tobias Czempiel Federico Tombari Nassir Navab

Résumé

Les procédures chirurgicales sont menées dans des salles de bloc opératoire (SBO) extrêmement complexes, impliquant divers acteurs, équipements et interactions. À ce jour, seuls des experts humains formés médicalement sont capables de comprendre l’ensemble des liens et interactions dans un tel environnement exigeant. Ce papier vise à faire avancer la communauté d’un pas vers une compréhension automatisée, holistique et sémantique du domaine des salles de bloc opératoire, ainsi qu’une modélisation de ce dernier. À cette fin, pour la première fois, nous proposons d’utiliser des graphes scéniques sémantiques (SSG, Semantic Scene Graphs) afin de décrire et synthétiser la scène chirurgicale. Les nœuds de ces graphes représentent différents acteurs et objets présents dans la salle — tels que le personnel médical, les patients ou les équipements médicaux — tandis que les arêtes modélisent les relations entre eux. Pour valider les potentialités de cette représentation proposée, nous avons créé le premier jeu de données public de SSG chirurgicaux 4D, appelé 4D-OR, comprenant dix chirurgies simulées de remplacement total du genou, enregistrées à l’aide de six capteurs RGB-D dans un centre de simulation réaliste de salle de bloc opératoire. Le jeu de données 4D-OR contient 6 734 images et est enrichi d’annotations détaillées incluant des SSG, des poses humaines et d’objets, ainsi que des rôles cliniques. Nous proposons également une pipeline de génération de SSG basée sur un réseau neuronal end-to-end, atteignant un taux de succès de 0,75 en macro F1, démontrant ainsi la capacité à inférer des raisonnements sémantiques dans le contexte chirurgical. Nous illustrons par ailleurs le pouvoir expressif de nos graphes scéniques en les appliquant à la tâche de prédiction des rôles cliniques, où nous obtenons un score de 0,85 en macro F1. Le code source et le jeu de données seront rendus disponibles à l’acceptation du manuscrit.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp