CholecTriplet2021 : Un défi de référence pour la reconnaissance des triplets d'actions chirurgicales

Le soutien décisionnel contextuel en salle d'opération peut favoriser la sécurité et l'efficacité chirurgicales en utilisant des retours d'information en temps réel issus de l'analyse du flux opératoire. La plupart des travaux existants reconnaissent les activités chirurgicales à un niveau grossier, comme les phases, les étapes ou les événements, omettant ainsi les détails d'interaction fins nécessaires pour une assistance AI plus utile en salle d'opération. La reconnaissance des actions chirurgicales sous forme de triplets fournit des détails complets sur les activités se déroulant dans les vidéos chirurgicales. Cet article présente CholecTriplet2021 : un défi de vision endoscopique organisé lors de MICCAI 2021 pour la reconnaissance de triplets d'actions chirurgicales dans les vidéos laparoscopiques. Le défi a accordé un accès privé au vaste ensemble de données CholecT50, annoté avec des informations sur les triplets d'actions. Dans cet article, nous présentons le cadre du défi et l'évaluation des méthodes d'apprentissage profond proposées par les participants lors du défi. Au total, 4 méthodes de base fournies par les organisateurs du défi et 19 nouveaux algorithmes d'apprentissage profond développés par les équipes concurrentes sont présentés pour reconnaître directement les triplets d'actions chirurgicales à partir des vidéos opératoires, atteignant une précision moyenne (mAP) variant de 4,2% à 38,1%. Cette étude analyse également la pertinence des résultats obtenus par les approches présentées, effectue une comparaison méthodologique approfondie entre elles, une analyse détaillée des résultats et propose une nouvelle méthode combinatoire pour améliorer la reconnaissance. Notre analyse montre que l'analyse du flux opératoire n'est pas encore résolue et souligne également des directions intéressantes pour la recherche future sur la reconnaissance fine-grainée des activités chirurgicales, qui est essentielle pour le développement de l'IA en chirurgie.