Unüberwachte Domänenanpassung für die Pose-Schätzung und Instanzsegmentierung von Ärzten im Operationssaal

Die feingranulare Lokalisierung von Klinikern im Operationssaal (OR) ist ein wesentlicher Bestandteil zur Entwicklung der nächsten Generation von OR-Unterstützungssystemen. Computer Vision Modelle für die Segmentierung auf Pixelbasis und die Detektion von Körperpunkten sind erforderlich, um die klinischen Aktivitäten und das räumliche Layout des OR besser zu verstehen. Dies stellt eine Herausforderung dar, nicht nur weil OR-Bilder stark von traditionellen Vision-Datensätzen abweichen, sondern auch weil Daten und Annotationen aufgrund von Datenschutzbedenken im OR schwer zu sammeln und zu generieren sind. Um diese Bedenken zu adressieren, untersuchen wir zunächst, wie die gemeinsame Schätzungen der Personpose und die Instanzsegmentierung bei niedrigen Auflösungen mit Downsampling-Faktoren von 1x bis 12x durchgeführt werden können. Zweitens, um den Domänenverschiebung und den Mangel an Annotationen entgegenzukommen, schlagen wir eine neue unsupervisierte Domänenanpassungsmethode vor, die AdaptOR genannt wird. Diese Methode dient dazu, ein Modell von einer im Wild etikettierten Quelldomäne auf eine statistisch unterschiedliche unetikettierte Zieldomäne anzupassen. Wir schlagen vor, explizite geometrische Einschränkungen auf verschiedene Augmentierungen des unetikettierte Zieldomänenbildes zu nutzen, um präzise Pseudolabels zu generieren und diese Pseudolabels in einem Selbsttrainingsrahmen für das Training des Modells auf hoch- und niedrige Auflösungs-OR-Bildern zu verwenden. Darüber hinaus schlagen wir eine disentangled Feature Normalisierung vor, um mit den statistisch unterschiedlichen Quelldomänen- und Zieldomänen-Daten umzugehen. Ausführliche experimentelle Ergebnisse mit detaillierten Abstrichstudien (Ablation Studies) auf den beiden OR-Datensätzen MVOR+ und TUM-OR-test zeigen die Effektivität unseres Ansatzes gegenüber stark konstruierten Baselines, insbesondere bei niedrigen Auflösungen datenschutzfreundlicher OR-Bilder. Schließlich zeigen wir die Allgemeinheit unserer Methode als semisupervisiertes Lernverfahren (SSL) am großen COCO-Datensatz, wo wir vergleichbare Ergebnisse erzielen können, indem wir nur 1% der etikettierten Überwachung verwenden gegenüber einem Modell, das mit 100% etikettierter Überwachung trainiert wurde.