LABRAD-OR: Leichtgewichtige Speicherszenengraphen für präzises zweimodales Reasoning in dynamischen Operationssälen

Moderne Operationen finden in komplexen und dynamischen Umgebungen statt, die stetig veränderliche Wechselwirkungen zwischen medizinischem Personal, Patienten und Geräten beinhalten. Die ganzheitliche Modellierung des Operationssaals (OR) stellt daher eine herausfordernde, aber essenzielle Aufgabe dar, die das Potenzial besitzt, die Leistung chirurgischer Teams zu optimieren und die Entwicklung neuer chirurgischer Technologien zur Verbesserung der Patientenoutcome zu unterstützen. Die ganzheitliche Darstellung chirurgischer Szenen als semantische Szenengraphen (SGG), bei denen Entitäten als Knoten und deren Beziehungen als Kanten dargestellt werden, ist ein vielversprechender Ansatz für eine feinabgestimmte semantische Verständnis des Operationssaals. Wir schlagen erstmals die Nutzung zeitlicher Informationen zur präziseren und konsistenteren ganzheitlichen OR-Modellierung vor. Konkret führen wir sogenannte Memory-Szenengraphen ein, bei denen die Szenengraphen vergangener Zeitschritte als zeitliche Repräsentation dienen, die die aktuelle Vorhersage leitet. Wir entwerfen eine end-to-end-Architektur, die die zeitlichen Informationen unserer leichtgewichtigen Memory-Szenengraphen intelligent mit visuellen Informationen aus Punktwolken und Bildern fusioniert. Wir evaluieren unsere Methode am 4D-OR-Datensatz und zeigen, dass die Integration von Temporalität zu genaueren und konsistenteren Ergebnissen führt, wodurch ein +5%-Anstieg und ein neuer SOTA von 0,88 im makro-F1 erreicht werden. Diese Arbeit eröffnet den Weg zur Repräsentation der gesamten chirurgischen Historie mittels Memory-Szenengraphen und verbessert das ganzheitliche Verständnis im Operationssaal. Die Einführung von Szenengraphen als Gedächtnisrepräsentationen kann ein wertvolles Werkzeug für zahlreiche Aufgaben des zeitlichen Verständnisses darstellen.