Lernen räumlich-semantischer Beziehungen für die Gesichtsmerkmalserkennung mit begrenzten gelabelten Daten

Neuere Fortschritte im Bereich des Deep Learning haben hervorragende Ergebnisse für die Gesichtsmerkmalserkennung (Facial Attribute Recognition, FAR) gezeigt, die typischerweise mit großskaligen, gelabelten Datensätzen trainiert werden. In vielen realen Anwendungen der FAR sind jedoch nur begrenzte gelabelte Daten verfügbar, was zu einer erheblichen Leistungseinbuße bei den meisten bestehenden Deep-Learning-basierten FAR-Methoden führt. Um dieses Problem zu lösen, stellen wir hier eine Methode namens Spatial-Semantic Patch Learning (SSPL) vor. Der Trainingsprozess von SSPL gliedert sich in zwei Stufen. Zunächst werden drei Hilfsaufgaben gemeinsam entwickelt, bestehend aus einer Patch-Rotations-Aufgabe (PRT), einer Patch-Segmentierungs-Aufgabe (PST) und einer Patch-Klassifizierung-Aufgabe (PCT), um über große Mengen unlabeled Gesichtsdaten Beziehungen zwischen räumlicher und semantischer Struktur zu lernen. Dadurch erhalten wir ein leistungsfähiges vortrainiertes Modell. Insbesondere nutzt die PRT die räumlichen Informationen von Gesichtsbildern auf selbstüberwachter Lernbasis. Die PST und die PCT erfassen jeweils die pixelgenaue und die bildweite semantische Information von Gesichtsbildern basierend auf einem Gesichts-Parsing-Modell. In der zweiten Stufe wird das aus den Hilfsaufgaben erlernte räumlich-semantische Wissen auf die FAR-Aufgabe übertragen. Dadurch wird erreicht, dass nur eine geringe Anzahl an gelabelten Daten erforderlich ist, um das vortrainierte Modell zu feintunen. Unser Ansatz erreicht im Vergleich zu aktuellen State-of-the-Art-Methoden eine überlegene Leistung, wie umfangreiche Experimente und Studien belegen.