Command Palette
Search for a command to run...
Gesichtsmerkmale im Freien mit Deep Learning
Gesichtsmerkmale im Freien mit Deep Learning
Liu Ziwei Luo Ping Wang Xiaogang Tang Xiaoou
Zusammenfassung
Die Vorhersage von Gesichtsmerkmalen in natürlicher Umgebung ist aufgrund komplexer Gesichtsvariationen herausfordernd. Wir stellen einen neuartigen Deep-Learning-Framework für die Merkmalsvorhersage in natürlicher Umgebung vor. Dieser Rahmenkonsistiert aus zwei CNNs, LNet und ANet, die gemeinsam mit Merkmals-Tags feinabgestimmt werden, jedoch unterschiedlich vortrainiert sind. LNet wird mit einer großen Menge allgemeiner Objektkategorien vortrainiert, um Gesichter zu lokalisieren, während ANet mit einer großen Menge von Gesichtsidentitäten vortrainiert wird, um Merkmale vorherzusagen. Dieser Ansatz übertrifft nicht nur die derzeit besten Verfahren deutlich, sondern offenbart auch wertvolle Erkenntnisse über die Lernprozesse von Gesichtsrepräsentationen.(1) Er zeigt, wie die Leistungsfähigkeit der Gesichtslokalisierung (LNet) und der Merkmalsvorhersage (ANet) durch unterschiedliche Vortrainingsstrategien verbessert werden kann.(2) Er offenbart, dass die Filter von LNet, obwohl sie lediglich mit bilddynamischen Merkmals-Tags feinabgestimmt werden, ihre Reaktionskarten über gesamte Bilder hinweg starke Hinweise auf Gesichtspositionen liefern. Dies ermöglicht die Ausbildung von LNet zur Gesichtslokalisierung allein mit bilddynamischen Annotationen, ohne dass Gesichtsbeschränkungsrahmen oder Merkmalspunkte erforderlich sind – Voraussetzungen, die bei allen bisherigen Arbeiten zur Merkmalserkennung notwendig sind.(3) Zudem zeigt er, dass die hochwertigen versteckten Neuronen von ANet nach dem Vortrainieren mit einer großen Anzahl von Gesichtsidentitäten automatisch semantische Konzepte erkennen, die sich nach der Feinabstimmung mit Merkmals-Tags signifikant anreichern. Jedes Merkmal kann anschaulich durch eine spärliche lineare Kombination dieser Konzepte erklärt werden.