Adaptation non supervisée de domaine pour l'estimation de la posture des cliniciens et la segmentation d'instances en salle d'opérations
La localisation fine des cliniciens dans la salle d'opérations (OR) est un élément clé pour concevoir la nouvelle génération de systèmes de soutien en salle d'opérations. Des modèles de vision par ordinateur pour le segmention pixel-par-pixel des personnes et la détection des points clés du corps sont nécessaires pour mieux comprendre les activités cliniques et l'aménagement spatial de la salle d'opérations. Cela représente un défi, non seulement parce que les images de la salle d'opérations sont très différentes des ensembles de données traditionnels en vision, mais aussi parce que la collecte et la génération de données et d'annotations dans la salle d'opérations sont difficiles en raison des préoccupations liées à la vie privée. Pour répondre à ces préoccupations, nous étudions tout d'abord comment l'estimation conjointe de la posture humaine et le segmention par instance peuvent être réalisées sur des images à faible résolution avec des facteurs de réduction allant de 1x à 12x. Deuxièmement, pour aborder le décalage entre les domaines et le manque d'annotations, nous proposons une nouvelle méthode d'adaptation non supervisée du domaine, appelée AdaptOR, permettant d'adapter un modèle provenant d'un domaine source étiqueté "en milieu naturel" à un domaine cible statistiquement différent non étiqueté. Nous proposons d'utiliser des contraintes géométriques explicites sur les différentes augmentations de l'image du domaine cible non étiqueté pour générer des pseudo-étiquettes précises et d'utiliser ces pseudo-étiquettes pour entraîner le modèle sur des images de salle d'opérations à haute et basse résolution dans un cadre auto-entraîné. De plus, nous proposons une normalisation de fonctionnalités dissociée pour gérer les données du domaine source et du domaine cible statistiquement différents. Des résultats expérimentaux approfondis avec des études abrégées détaillées sur deux ensembles de données OR, MVOR+ et TUM-OR-test, montrent l'efficacité de notre approche face à des baselines fortement construites, notamment sur les images OR à faible résolution respectueuses de la vie privée. Enfin, nous montrons la généralité de notre méthode comme méthode d'apprentissage semi-supervisé (SSL) sur l'ensemble de données COCO à grande échelle, où nous obtenons des résultats comparables avec seulement 1% de supervision étiquetée contre un modèle entraîné avec 100% de supervision étiquetée.