Le Deep Learning Intervient Dans Le Domaine De La Beauté, Les Célébrités Et Blogueurs D'internet Vont-ils Perdre Leur Emploi ?

Ces dernières années, de plus en plus de blogueuses beauté ont émergé sur Internet. Ils expliquent des conseils de beauté et partagent les résultats des essais cosmétiques afin d'accumuler des fans et de coopérer avec des entreprises pour vendre des produits.

Par exemple, Li Jiaqi, qui était très populaire il y a quelque temps, est connu sous le nom de "Diable au rouge à lèvres"Blogueuse beauté. Il l'a déjà essayé d'un seul coup lors d'une émission en direct. 380 typesLa couleur du rouge à lèvres a été vendue en une minute. 14 000Disque de rouge à lèvres.

Cependant, de nombreuses filles qui aiment le maquillage auraient dû se rendre compte depuis longtemps que même si elles achetaient le même rouge à lèvres que la blogueuse, l'effet serait différent. J'ai vu que les couleurs que Li Jiaqi et d'autres ont essayées semblaient très belles, féeriques et luxueuses, mais quand je les ai mises sur mes lèvres, pourquoi sont-elles devenues si...

C'est vrai, c'est parce que la forme du visage, la couleur de la peau, la forme des lèvres, etc. de chacun sont différentes que cela conduit à « Exposition des vendeurs » et « Exposition des acheteurs »résultat.

La question est donc : comment savoir quel produit de beauté vous convient le mieux ? Une société appelée Mira a donné la réponse :Utilisez l’apprentissage profond.

L'apprentissage profond aime aussi la beauté

Beaucoup de gens pensent que des termes tels que l’intelligence artificielle et l’apprentissage profond n’ont rien à voir avec la beauté, mais Mira, une startup basée à Los Angeles, ne le pense pas.

L'entreprise a décidé d'utiliser la technologie de l'intelligence artificielle pour aider la majorité des femmes amoureuses de la beauté, par exemple en s'inspirant du maquillage et en achetant des produits de beauté adaptés.

Après avoir discuté au hasard avec des dizaines de professionnels de la beauté, l'équipe Mira a appris que la plus grande difficulté à laquelle sont actuellement confrontées les consommatrices pour trouver des produits de maquillage et des méthodes de beauté adaptés est :Il n’existe aucune voix faisant autorité et crédible qui puisse fournir des conseils sur leurs besoins individuels en matière de beauté.

Dans cet article, nous parlerons de la façon dont l'équipe technique de Mira utiliseTechniques d'apprentissage profond et de vision par ordinateurTrouvez des exemples qui vont au cœur de cette question : trouvez des influenceurs beauté, des images et des vidéos qui expliquent des formes d’yeux humains spécifiques et des tons de peau du visage.

En cours de route, l’équipe Mira a exploité trois connaissances simples mais puissantes :Transformations géométriques, fonctions de perte de triplets et apprentissage par transfert,Résolvez des problèmes d’inférence de beauté difficiles avec un minimum d’intervention humaine.

L'IA vous aide à choisir le maquillage des yeux le plus adapté

Les femmes qui aiment le maquillage savent qu'il peut être difficile de trouver des produits et des méthodes de beauté adaptés à leurs yeux : la forme des yeux et le teint de la peau de chacun sont différents.

Même pour le même type de maquillage des yeux (comme le smoky eye), les méthodes de maquillage utilisées sont très différentes selon la forme des yeux.

Bien que Birchbox et d'autres entreprises aient lancé des guides de maquillage utiles, l'équipe Mira a découvert, grâce à des enquêtes, que les passionnés de beauté aiment généralement écouter des conseils professionnels et crédibles, en particulier des conseils de maquillage de personnes ayant des formes d'yeux similaires aux leurs. Ils accordent même plus de valeur à ces suggestions qu’aux avis des experts en beauté.

Grâce à la technologie de l’intelligence artificielle, nous pouvons désormais savoir comment nous maquiller et quels cosmétiques acheter en fonction des traits de nos yeux et d’autres caractéristiques uniques du visage.

La première étape de la beauté de l’IA : trouver des similitudes

Formalisons le problème : étant donné un ensemble de photos de visages et un petit nombre de photos étiquetées manuellement (étiquetées avec la couleur des yeux, la forme des paupières, etc.), trouvez la distance entre deux yeux.Mesures de similarité visuelle(C'est ce que signifie « J'ai déjà vu cette sœur » dans « Le Rêve dans le Manoir Rouge »). Ensuite, utilisezClassificateurCapture les propriétés des étiquettes humaines.

Cet article se concentrera d’abord sur la manière de déterminer la similitude entre les yeux, puis expliquera en détail comment effectuer la tâche de classification.

Les images brutes ne sont pas très adaptées au calcul de la similarité visuelle ou à la réalisation de tâches de classification. Parce que beaucoup des similitudes qu'ils contiennent sont superficielles (par exemple, le maquillage est très similaire et la couleur de la peau semble différente en raison d'un fort éclairage).

Cela n'a rien à voir avec la structure réelle des yeux et la couleur de la peau du visage du personnage. De plus, les images originales se trouvent généralement dans un espace de grande dimension, ce qui nécessite une grande quantité de données d’entraînement étiquetées pour les tâches de classification.

Comme indiqué ci-dessus, si vous comparez uniquement les pixels de l'image directement, les yeux des personnages sont très similaires, mais si vous regardez de près, vous constaterez que même si l'ombre des paupières, l'éclairage et la ligne de mire des personnages sont cohérents, la couleur de leurs yeux et la couleur de leur peau du visage sont différentes.

Les premières tâches de Mira sont :Pour obtenir une représentation mathématique de faible dimension et dense de l'image de l'œil,C'est ce que nous appelons 「Nidification（incorporations）.

Il capture uniquement les qualités d'image requises pour la tâche (l'incorporation est une caractéristique catégorielle représentée comme une caractéristique à valeur continue. En général, l'incorporation fait référence au mappage d'un vecteur de grande dimension dans un espace de faible dimension.) De cette façon, « l'incorporation » doit ignorer ces informations :

• Pose des yeux/direction du regard
• Des conditions d'éclairage spécifiques (et des filtres puissants, bien sûr)
• Peu importe le type de maquillage que vous appliquez sur votre visage

Étape 2 du maquillage IA : normalisation de l'image par transformation de projection

Nous pouvons le faire grâce à une simple étape de prétraitement -Changements de projectionSupprimer la similitude superficielle d’une catégorie entière.

Bien qu'il existe de nombreuses différences structurelles évidentes dans les photos des yeux recadrés (comme les yeux qui ne sont pas centrés sur la photo, ou qui sont tournés en raison de l'inclinaison de la tête, etc.), les changements de projection nous permettent de "Torsionchanson"Selonmorceau,Cela garantit que les mêmes points de repère oculaires se trouvent aux mêmes coordonnées.

Avec un peu d'aideAlgèbre linéaireEn principe, nous pouvons « déformer » une image de sorte qu’un ensemble de points soit mappé sur une nouvelle forme idéale. Le processus de rotation et d’étirement d’une image est le suivant :

En utilisant la variation de projection, l'image ci-dessus peut être déformée. Les 4 points rouges dans l'image ci-dessus formeront un rectangle, « redressant » ainsi le texte entouré par les points rouges. L’équipe de Mira a appliqué la même approche lors de la normalisation des photos des yeux.

Les chercheurs ont ensuite utilisé dlib pour détecter les repères faciaux (si vous êtes intéressé par dlib, vous pouvez en apprendre davantage à ce sujet dans le lien suivant : http://blog.dlib.net/2014/08/real-time-face-pose-estimation.html).

Recadrez les yeux sur votre photo et déformez-les pour vous assurer qu'ils sont alignés et cohérents. Cette étape leur a permis de se concentrer sur la création d'une « imbrication » indépendante de la pose de la tête du personnage et de son angle d'inclinaison.

SuivantNormalisation d'image:Détectez les repères du visage, recadrez l'image de l'œil, puis utilisez une transformation projective pour « déformer » l'image de l'œil vers une position standard.

AI Beauty Étape 3 : Apprentissage de la représentation à l'aide de la fonction de perte de triplet

Lorsque les images « déformées » sont directement comparées, elles présentent encore certaines similitudes de surface, notamment la direction du regard et un maquillage similaire. La technologie d’apprentissage profond est la solution à ce problème.

Les chercheurs ont formé unRéseaux de neurones convolutifs,En lui fournissant des photos des yeux, vous obtiendrez des vecteurs plus similaires entre les photos des yeux de la même personne qu'entre des personnes différentes.Le réseau neuronal apprend à produire une représentation stable et persistante de chaque œil individuel dans différents contextes.

Bien sûr, ce sur quoi nous nous appuyons ici est exactement ce que nous avons dit auparavant. fonction de perte de triplet,La formule est la suivante :

Cela détaille que lorsque la fonction place les deux « nids » d'un individu spécifique (l'ancre et l'échantillon positif) plus près que l'ancre et l'individu non pertinent (l'échantillon négatif), la perte du modèle et l'objectif d'optimisation diminueront.

Lorsque les chercheurs ont introduit des photos d’yeux dans leur modèle, ils ont constaté que l’« intégration » résultante permettait de bien repérer quand deux photos présentaient des structures oculaires et des tons de peau du visage similaires.

La méthode utilisée ici est en fait très similaire à FaceNet de Google, qui consiste à générer une intégration d'image au niveau du visage en « déformant » et en traitant de manière cohérente les photos et en appliquant la fonction de perte de triplet.

AI Beauty Étape 4 : Fusionner et imbriquer

Les chercheurs ont simplement ajusté l'intégration générée pour prendre également en charge la représentation oculaire au niveau humain, en extrayant toutes les données de bruit pour chaque image.

En utilisant les poids pré-entraînés du réseau neuronal ci-dessus, les chercheurs ont adopté une nouvelle fonction de perte qui place les valeurs moyennes de plusieurs groupes imbriqués dans des positions très proches (par rapport à des individus non apparentés), comme indiqué ci-dessous :

En utilisant les poids pré-entraînés d'un réseau neuronal précédent, les chercheurs ont pu apprendre au réseau à fusionner les imbrications oculaires de manière moyenne et ont vu le modèle converger rapidement. Ce processus est souvent ditApprentissage par transfert.

L’apprentissage par transfert permet de fusionner les intégrations dans une représentation plus holistique d’un œil individuel. Bien que l'architecture du réseau neuronal soit très complexe à ce stade, le modèle peut être utilisé grâce à l'utilisation de l'apprentissage par transfertConvergence rapide.

Enfin, les chercheurs ont utilisé l’ensemble de données pour vérifier le modèle et ont constaté que l’intégration générée par le modèle était capable deCapturer des similitudes très subtiles entre les individus,Comme indiqué ci-dessous :

Il suffit d'un regard sur vous et de vous donner des suggestions de maquillage parfaites

En obtenant une représentation mathématique de haute qualité de l'œil d'une personne sur une seule photo, les chercheurs ont pu trouver des similitudes dans la structure des yeux des personnes, ce qui pose les bases pour faire correspondre une personne avec le style de maquillage des yeux approprié en se basant uniquement sur ses yeux.

L'équipe technique de Mira a déclaré que la prochaine tâche consiste à appliquer plusieursMéthodes d'apprentissage supervisé(classification des formes des yeux, restitution des couleurs des yeux, etc.), ainsi que certaines méthodes d'analyse, pour construire un système qui peut aider les gensUn modèle d’IA qui fournit des suggestions de maquillage.

En d'autres termes, à l'avenir, les filles n'auront plus à se soucier du type de maquillage le mieux adapté à leurs yeux et à leur teint, et elles n'auront plus à se référer mécaniquement aux guides de maquillage standard et aux effets de couleur des tests des blogueurs beauté. L'IA vous recommandera des techniques de maquillage plus adaptées à vos besoins.

Dans ce cas, les blogueuses beauté risquent de perdre leur emploi ? Cependant, Li Jiaqi n'a plus besoin de travailler si dur pour essayer les couleurs 380 fois dans une seule diffusion en direct.