Approche de LSTM convolutionnel faiblement supervisée pour le suivi d'outils dans les vidéos laparoscopiques

Objectif : Le suivi en temps réel des instruments chirurgicaux est un élément clé de la salle d'opération intelligente du futur, car il est essentiel pour analyser et comprendre les activités chirurgicales. Les méthodes actuelles de suivi des instruments chirurgicaux dans les vidéos nécessitent une formation sur des données où les positions spatiales des instruments sont manuellement annotées. La génération de telles données d'entraînement est difficile et chronophage. À la place, nous proposons d'utiliser uniquement des annotations binaires de présence pour former un suiveur d'instruments pour les vidéos laparoscopiques.Méthodes : L'approche proposée consiste en un réseau neuronal composé d'un CNN (Convolutional Neural Network) + ConvLSTM (Convolutional Long Short-Term Memory) formé de manière end-to-end, mais faiblement supervisé uniquement sur les étiquettes binaires de présence des instruments. Nous utilisons le ConvLSTM pour modéliser les dépendances temporelles dans le mouvement des instruments chirurgicaux et exploiter ses capacités spatio-temporelles pour lisser les activations maximales des classes dans les cartes thermiques de localisation (Lh-maps).Résultats : Nous avons construit un suiveur de base au-dessus du modèle CNN et démontré que notre approche basée sur le ConvLSTM surpassait ce suiveur de référence dans la détection de présence d'instruments, la localisation spatiale et le suivi du mouvement, avec respectivement plus de 5,0 %, 13,9 % et 12,6 %.Conclusions : Dans cet article, nous démontrons que les étiquettes binaires de présence sont suffisantes pour former un modèle de suivi basé sur l'apprentissage profond en utilisant notre méthode proposée. Nous montrons également que le ConvLSTM peut exploiter la cohérence spatio-temporelle entre les images consécutives d'une vidéo chirurgicale pour améliorer la détection de présence d'instruments, la localisation spatiale et le suivi du mouvement.Mots-clés : Analyse du flux opératoire, suivi d'instruments, supervision faible, cohérence spatio-temporelle, ConvLSTM, vidéos endoscopiques