Semi-supervierter Keypoint-Detektor und -Descriptor für die Bildübereinstimmung von Netzhautbildern

Für die Retina-Bildübereinstimmung (RIM) stellen wir SuperRetina vor, die erste end-to-end-Methode mit gemeinsam trainierbarem Keypoint-Detektor und Descriptor. SuperRetina wird auf eine neuartige semi-supervised Art trainiert. Eine kleine Menge an Bildern (nahezu 100) wird unvollständig beschriftet und dient zur Supervision des Netzwerks bei der Detektion von Keypoints auf dem Gefäßbaum. Um die Unvollständigkeit der manuellen Beschriftung zu überwinden, schlagen wir Progressive Keypoint Expansion vor, um die Keypoint-Beschriftungen in jeder Trainingsepoch zu erweitern. Durch die Nutzung eines auf Keypoints basierenden verbesserten Triplet-Loss als Beschreibungsverlust erzeugt SuperRetina hochdiskriminative Descriptors bei vollständiger Eingabebildgröße. Umfangreiche Experimente auf mehreren realen Datensätzen bestätigen die Brauchbarkeit von SuperRetina. Selbst wenn manuelle Beschriftungen durch automatische Beschriftungen ersetzt werden – was den Trainingsprozess vollständig ohne menschliche Annotation ermöglicht – schneidet SuperRetina gegenüber mehreren starken Baselines für zwei RIM-Aufgaben, nämlich Bildregistrierung und Identitätsverifizierung, sehr gut ab. SuperRetina wird als Open-Source verfügbart sein.