Divisions de données et métriques pour l'évaluation des méthodes sur les jeux de données d'actions chirurgicales en triplet

Outre la génération de données et d'annotations, l'élaboration de stratégies de partitionnement des données sensées et de métriques d'évaluation est essentielle pour la création d'un jeu de données de référence. Cette pratique garantit un consensus sur l'utilisation des données, une évaluation homogène et une comparaison uniforme des méthodes de recherche sur le jeu de données. Cette étude se concentre sur CholecT50, qui est un jeu de données chirurgical composé de 50 vidéos formalisant les activités chirurgicales sous forme de triplets . Dans cet article, nous présentons les partitions standard pour les jeux de données CholecT50 et CholecT45, et montrons comment elles se comparent à l'utilisation existante du jeu de données. CholecT45 est la première version publique contenant 45 vidéos du jeu de données CholecT50. Nous avons également développé une bibliothèque de métriques, ivtmetrics, pour l'évaluation des modèles sur les triplets chirurgicaux. De plus, nous menons une étude comparative en reproduisant les méthodes baselines dans les frameworks d'apprentissage profond les plus couramment utilisés (PyTorch et TensorFlow) afin d'évaluer ces méthodes à l'aide des partitions et métriques proposées, que nous rendons publiques pour soutenir les recherches futures. Les partitions et métriques d'évaluation proposées permettront un suivi mondial des progrès scientifiques sur le jeu de données et faciliteront la sélection optimale des modèles pour leur déploiement ultérieur.