Verbesserung der Landmarke-Lokalisierung mit semi-überwachtem Lernen

Wir präsentieren zwei Techniken zur Verbesserung der Landmarkenlokalisierung in Bildern aus teilweise annotierten Datensätzen. Unser primäres Ziel ist es, die übliche Situation zu nutzen, in der genaue Landmarkenpositionen nur für einen kleinen Teil des Datensatzes bereitgestellt werden, während Klassenlabels für Klassifikations- oder Regressionsaufgaben im Zusammenhang mit den Landmarken reichlich verfügbar sind. Erstens schlagen wir das Framework sequentieller Multitasking vor und untersuchen es hier anhand einer Architektur für die Landmarkenlokalisierung, bei der das Training mit Klassenlabels als Nebensignal dient, um die Lokalisierung von Landmarken in nicht annotierten Daten zu leiten. Ein wesentlicher Aspekt unseres Ansatzes besteht darin, dass Fehler durch ein vollständiges Modell für die Landmarkenlokalisierung zurückpropagiert werden können. Zweitens schlagen wir eine unüberwachte Lerntechnik zur Landmarkenlokalisierung vor und untersuchen sie, basierend auf einem Modell, das äquivariante Landmarken bezüglich Transformationen des Bildes vorhersagt. Wir zeigen, dass diese Techniken die Vorhersage von Landmarken erheblich verbessern und effektive Detektoren auch dann lernen können, wenn nur ein kleiner Teil des Datensatzes mit Landmarklabels versehen ist. Wir präsentieren Ergebnisse anhand zweier Toy-Datensätze und vier realer Datensätze mit Händen und Gesichtern und berichten über neue Standards im Vergleich zu bisherigen Methoden bei zwei Datensätzen im Wild; so übertreffen wir bei nur 5 % annotierter Bilder den bisherigen Stand der Technik, der auf dem AFLW-Datensatz trainiert wurde.