Validation comparative des algorithmes d'apprentissage automatique pour l'analyse du workflow chirurgical et des compétences à l'aide de la base HeiChole

OBJECTIF : L’analyse du workflow chirurgical et des compétences est une technologie clé pour les prochaines générations de systèmes d’assistance chirurgicale cognitives. Ces systèmes pourraient améliorer la sécurité opératoire grâce à des alertes contextuelles ou à une assistance robotique semi-autonome, tout en renforçant la formation des chirurgiens grâce à des retours fondés sur les données. Dans l’analyse du workflow chirurgical, une précision moyenne atteignant jusqu’à 91 % a été rapportée pour la reconnaissance des phases sur un jeu de données ouvert, issu d’un seul centre. Dans ce travail, nous avons évalué la généralisabilité des algorithmes de reconnaissance des phases dans un cadre multi-centres, incluant des tâches de reconnaissance plus difficiles, telles que les actions chirurgicales et l’évaluation des compétences chirurgicales.MÉTHODES : Pour atteindre cet objectif, un jeu de données comprenant 33 vidéos de cholécystectomies laparoscopiques provenant de trois centres chirurgicaux a été constitué, couvrant un temps opératoire total de 22 heures. Les étiquettes incluent l’annotation de sept phases chirurgicales avec 250 transitions entre phases, 5 514 occurrences de quatre actions chirurgicales, 6 980 occurrences de 21 instruments chirurgicaux répartis en sept catégories d’instruments, ainsi que 495 classifications de compétences dans cinq dimensions. Ce jeu de données a été utilisé dans le challenge Endoscopic Vision 2019, sous-défi dédié à l’analyse du workflow et des compétences chirurgicales. Douze équipes ont soumis leurs algorithmes d’apprentissage automatique pour la reconnaissance des phases, des actions, de la présence d’instruments et/ou l’évaluation des compétences.RÉSULTATS : Des scores F1 pour la reconnaissance des phases compris entre 23,9 % et 67,7 % (n = 9 équipes), entre 38,5 % et 63,8 % pour la détection de la présence d’instruments (n = 8 équipes), mais uniquement entre 21,8 % et 23,3 % pour la reconnaissance des actions (n = 5 équipes). L’erreur absolue moyenne pour l’évaluation des compétences s’est élevée à 0,78 (n = 1 équipe).CONCLUSION : L’analyse du workflow chirurgical et des compétences apparaît comme une technologie prometteuse pour soutenir l’équipe chirurgicale, mais elle n’est pas encore résolue, comme le démontre notre comparaison d’algorithmes. Ce nouveau benchmark peut être utilisé pour une évaluation et une validation comparables des travaux futurs.