HyperAIHyperAI

Command Palette

Search for a command to run...

Approche de LSTM convolutionnel faiblement supervisée pour le suivi d'outils dans les vidéos laparoscopiques

Nwoye Chinedu Innocent ; Mutter Didier ; Marescaux Jacques ; Padoy Nicolas

Résumé

Objectif : Le suivi en temps réel des instruments chirurgicaux est un élément clé de la salle d'opération intelligente du futur, car il est essentiel pour analyser et comprendre les activités chirurgicales. Les méthodes actuelles de suivi des instruments chirurgicaux dans les vidéos nécessitent une formation sur des données où les positions spatiales des instruments sont manuellement annotées. La génération de telles données d'entraînement est difficile et chronophage. À la place, nous proposons d'utiliser uniquement des annotations binaires de présence pour former un suiveur d'instruments pour les vidéos laparoscopiques.Méthodes : L'approche proposée consiste en un réseau neuronal composé d'un CNN (Convolutional Neural Network) + ConvLSTM (Convolutional Long Short-Term Memory) formé de manière end-to-end, mais faiblement supervisé uniquement sur les étiquettes binaires de présence des instruments. Nous utilisons le ConvLSTM pour modéliser les dépendances temporelles dans le mouvement des instruments chirurgicaux et exploiter ses capacités spatio-temporelles pour lisser les activations maximales des classes dans les cartes thermiques de localisation (Lh-maps).Résultats : Nous avons construit un suiveur de base au-dessus du modèle CNN et démontré que notre approche basée sur le ConvLSTM surpassait ce suiveur de référence dans la détection de présence d'instruments, la localisation spatiale et le suivi du mouvement, avec respectivement plus de 5,0 %, 13,9 % et 12,6 %.Conclusions : Dans cet article, nous démontrons que les étiquettes binaires de présence sont suffisantes pour former un modèle de suivi basé sur l'apprentissage profond en utilisant notre méthode proposée. Nous montrons également que le ConvLSTM peut exploiter la cohérence spatio-temporelle entre les images consécutives d'une vidéo chirurgicale pour améliorer la détection de présence d'instruments, la localisation spatiale et le suivi du mouvement.Mots-clés : Analyse du flux opératoire, suivi d'instruments, supervision faible, cohérence spatio-temporelle, ConvLSTM, vidéos endoscopiques


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp