Transformers de vision pour de petits jeux de données histologiques appris par distillation de connaissances

Les systèmes de pathologie computationnelle (CPATH) ont le potentiel d’automatiser les tâches diagnostiques. Toutefois, les artefacts présents sur les lames histologiques numérisées, connus sous le nom d’images de lame entière (Whole Slide Images, WSIs), peuvent nuire à la performance globale des systèmes CPATH. Des modèles d’apprentissage profond (DL), tels que les Vision Transformers (ViTs), peuvent détecter et éliminer ces artefacts avant l’exécution de l’algorithme diagnostique. Une méthode simple pour développer des ViTs robustes et généralisables consiste à les entraîner sur de très grands jeux de données. Malheureusement, l’acquisition de grands jeux de données médicaux est coûteuse et peu pratique, ce qui souligne la nécessité d’une méthode généralisable de détection des artefacts sur les WSIs. Dans cet article, nous proposons une approche élève-professeur afin d’améliorer la performance de classification des ViTs pour la détection des bulles d’air. Le ViT entraîné dans le cadre élève-professeur améliore ses performances grâce à la distillation des connaissances existantes provenant d’un modèle professeur à forte capacité. Notre meilleur modèle ViT atteint respectivement des scores F1 de 0,961 et de 0,911 en termes de coefficient de Matthews (MCC), observant une amélioration de 7 % en MCC par rapport à un entraînement autonome. La méthode proposée ouvre une nouvelle perspective sur l’utilisation de la distillation des connaissances par rapport à l’apprentissage par transfert, encourageant ainsi l’adoption de transformers personnalisés dans des pipelines de prétraitement efficaces pour les systèmes CPATH.