Distillation de Connaissances Inversée : Formation d'un Modèle de Grande Taille à l'aide d'un Modèle de Petite Taille pour le Matching d'Images Rétiniennes sur des Données Limitées

L'appariement d'images rétiniennes joue un rôle crucial dans le suivi de l'évolution des maladies et de la réponse au traitement. Cependant, les jeux de données comportant des points clés appariés entre des paires d'images séparées temporellement sont rares, ce qui limite la formation de modèles basés sur des transformateurs. Nous proposons une nouvelle approche fondée sur le distillation inverse de connaissances pour former des modèles volumineux avec peu de données tout en évitant le surapprentissage. Tout d'abord, nous suggérons des modifications architecturales à une méthode semi-supervisée basée sur un réseau neuronal convolutif (CNN) appelée SuperRetina, ce qui nous aide à améliorer ses résultats sur un jeu de données publiquement disponible. Ensuite, nous formons un modèle plus lourd basé sur un encodeur de transformateur visuel en utilisant le modèle CNN plus léger, ce qui va à l'encontre des pratiques habituelles dans la recherche sur la distillation de connaissances, où il est courant de former des modèles plus légers à partir de modèles plus lourds. De manière surprenante, cette distillation inverse de connaissances améliore encore davantage la généralisation. Nos expériences indiquent que l'ajustement en haute dimension dans l'espace représentationnel peut prévenir le surapprentissage contrairement à une formation directe pour apparer les sorties finales. Nous mettons également à disposition un jeu de données public annoté pour la détection et l'appariement de points clés d'images rétiniennes afin d'aider la communauté scientifique à développer des algorithmes pour les applications liées aux images rétiniennes.