Réseaux de neurones contraints temporellement (TCNN) : un cadre pour la segmentation sémantique vidéo semi-supervisée

Un obstacle majeur à la construction de modèles performants pour la segmentation sémantique, et particulièrement pour la segmentation sémantique vidéo, réside dans le manque de grands ensembles de données bien annotés. Ce goulot d'étranglement est particulièrement contraignant dans des domaines hautement spécialisés et réglementés tels que la médecine et la chirurgie, où la segmentation sémantique vidéo pourrait offrir des applications importantes, mais où les données et les annotations expertes sont rares. Dans ces contextes, des indices temporels et des contraintes anatomiques peuvent être exploités pendant l'entraînement afin d'améliorer les performances. Dans ce travail, nous présentons les Réseaux de Neurones Contraints Temporellement (TCNN), un cadre semi-supervisé dédié à la segmentation sémantique vidéo de vidéos chirurgicales. Nous démontrons que des réseaux autoencodeurs peuvent être utilisés de manière efficace pour fournir à la fois des signaux de supervision spatiaux et temporels, permettant l'entraînement de modèles d'apprentissage profond. Nous évaluons notre méthode sur un nouvel ensemble de données vidéo de procédures de cholécystectomie laparoscopique, appelé Endoscapes, ainsi que sur une adaptation d’un ensemble de données public dédié aux chirurgies de cataracte, CaDIS. Nous montrons que des représentations à faible dimension des masques prédits peuvent être exploitées pour assurer une amélioration constante sur des ensembles de données partiellement étiquetées, sans coût computationnel supplémentaire au moment de l’inférence. En outre, le cadre TCNN est indépendant du modèle et peut être combiné avec d'autres choix architecturaux avec une complexité additionnelle négligeable.