Détectioneur et descripteur de points clés semi-supervisés pour l’appariement d’images rétiniennes

Pour l’appariement d’images rétiniennes (RIM), nous proposons SuperRetina, la première méthode end-to-end avec un détecteur de points clés et un descripteur entraînables conjointement. SuperRetina est entraînée selon une nouvelle approche semi-supervisée. Un petit ensemble d’images (d’environ 100) est partiellement étiqueté et utilisé pour superviser le réseau afin de détecter des points clés sur l’arbre vasculaire. Pour attaquer l’incomplétude des étiquetages manuels, nous introduisons une méthode appelée Progressive Keypoint Expansion, qui enrichit progressivement les étiquettes des points clés à chaque époque d’entraînement. En utilisant une perte améliorée basée sur les triplets, fondée sur les points clés, comme fonction de perte de description, SuperRetina génère des descripteurs hautement discriminants à la taille complète de l’image d’entrée. Des expériences étendues sur plusieurs jeux de données réels valident la faisabilité de SuperRetina. Même lorsque les étiquetages manuels sont remplacés par des étiquetages automatiques, rendant ainsi le processus d’entraînement entièrement libre d’annotations humaines, SuperRetina se compare avantageusement à plusieurs méthodes de référence performantes pour deux tâches de RIM : l’alignement d’images et la vérification d’identité. SuperRetina sera mise à disposition en open source.