CholecTriplet2022 : Montrez-moi un outil et indiquez le triplet -- un défi de vision endoscopique pour la détection de triplets d'actions chirurgicales

La formalisation des activités chirurgicales sous forme de triplets composés d'instruments utilisés, d'actions effectuées et d'anatomies cibles est en train de devenir une approche de référence pour la modélisation des activités chirurgicales. L'avantage de cette formalisation réside dans le fait qu'elle aide à obtenir une compréhension plus détaillée de l'interaction outil-tissu, ce qui peut être utilisé pour développer une meilleure assistance par l'intelligence artificielle pour la chirurgie guidée par l'image. Les efforts antérieurs et le défi CholecTriplet introduit en 2021 ont rassemblé des techniques visant à reconnaître ces triplets à partir des images chirurgicales. L'estimation également des emplacements spatiaux des triplets offrirait un soutien décisionnel plus précis et contextuel pendant l'intervention pour les interventions assistées par ordinateur. Cet article présente le défi CholecTriplet2022, qui étend la modélisation des triplets d'actions chirurgicales de la reconnaissance à la détection. Il inclut une localisation faiblement supervisée des boîtes englobantes de chaque instrument chirurgical visible (ou outil), en tant qu'acteurs clés, ainsi que la modélisation de chaque activité-outil sous forme de triplet . L'article décrit une méthode de base et 10 nouveaux algorithmes d'apprentissage profond présentés lors du défi pour résoudre cette tâche. Il fournit également des comparaisons méthodologiques approfondies des méthodes, une analyse détaillée des résultats obtenus selon plusieurs métriques, défis visuels et procéduraux ; leur importance, ainsi que des pistes utiles pour les futures orientations de recherche et applications en chirurgie.