Deep Learning Spielt Im Bereich Schönheit Eine Rolle. Werden Internet-Berühmtheiten Und Blogger Ihre Jobs Verlieren?

In den letzten Jahren sind im Internet immer mehr Beauty-Blogger aufgetaucht. Sie geben Schönheitstipps und teilen die Ergebnisse von Kosmetiktests, um Fans zu gewinnen und mit Unternehmen zusammenzuarbeiten, um Produkte zu verkaufen.

Zum Beispiel ist Li Jiaqi, der vor einiger Zeit sehr populär war, bekannt als "Lippenstift-Teufel"Beauty-Bloggerin. Einmal hat er es während einer Live-Übertragung auf einmal versucht. 380 TypenDie Lippenstiftfarbe war innerhalb einer Minute ausverkauft. 14.000Lippenstift-Platte.

Viele Mädchen, die Make-up lieben, dürften jedoch schon längst erkannt haben, dass der Effekt ein anderer wäre, selbst wenn sie den gleichen Lippenstift wie die Bloggerin kaufen würden. Ich habe gesehen, dass die Farben, die Li Jiaqi und andere ausprobiert haben, sehr schön, märchenhaft und luxuriös aussahen, aber als ich sie auf meine Lippen aufgetragen habe, warum sind sie so geworden …

Das ist richtig, es liegt daran, dass jeder Mensch eine andere Gesichtsform, Hautfarbe, Lippenform usw. hat, was zu „Verkäufershow“ und „Käufershow“Ergebnis.

Die Frage ist also: Wie können Sie herausfinden, welches Schönheitsprodukt für Sie am besten geeignet ist? Ein Unternehmen namens Mira gab die Antwort:Nutzen Sie Deep Learning.

Deep Learning liebt auch Schönheit

Viele Menschen glauben, dass Begriffe wie künstliche Intelligenz und Deep Learning nichts mit Schönheit zu tun haben. Mira, ein Startup mit Sitz in Los Angeles, sieht das jedoch anders.

Das Unternehmen entschied sich für den Einsatz künstlicher Intelligenz, um der Mehrheit der Schönheitsliebhaberinnen zu helfen, indem es ihnen beispielsweise Make-up-Inspirationen liefert und geeignete Schönheitsprodukte kauft.

Nach einem Gespräch mit Dutzenden von Schönheitsexperten erfuhr das Mira-Team, dass die größte Schwierigkeit, mit der weibliche Verbraucher derzeit bei der Suche nach geeigneten Make-up-Produkten und Schönheitsmethoden konfrontiert sind, darin besteht:Es gibt keine maßgebliche und glaubwürdige Stimme, die ihnen bei ihren individuellen Schönheitsbedürfnissen Ratschläge geben kann.

In diesem Artikel werden wir darüber sprechen, wie das technische Team von MiraDeep Learning und Computer Vision-TechnikenSuchen Sie nach Beispielen, die den Kern dieser Frage treffen: Suchen Sie nach Beauty-Influencern, Bildern und Videos, die bestimmte menschliche Augenformen und Gesichtshauttöne erklären.

Dabei nutzte das Mira-Team drei einfache, aber wirkungsvolle Erkenntnisse:Geometrische Transformationen, Triplett-Verlustfunktionen und Transferlernen,Lösen Sie schwierige Schönheitsinferenzprobleme mit minimalem menschlichen Aufwand.

KI hilft Ihnen bei der Auswahl des am besten geeigneten Augen-Make-ups

Frauen, die Make-up lieben, wissen, dass es schwierig sein kann, Schönheitsprodukte und -methoden zu finden, die zu ihren Augen passen – jeder hat eine andere Augenform und einen anderen Hautton.

Selbst bei der gleichen Art von Augen-Make-up (wie beispielsweise Smoky Eyes) unterscheiden sich die verwendeten Make-up-Methoden je nach Augenform stark.

Obwohl Birchbox und andere Unternehmen einige nützliche Make-up-Ratgeber herausgebracht haben, hat das Mira-Team durch Umfragen herausgefunden, dass Schönheitsliebhaber im Allgemeinen gerne auf professionelle und glaubwürdige Ratschläge hören, insbesondere auf Make-up-Ratschläge von Menschen mit ähnlicher Augenform wie ihrer eigenen. Sie schätzen diese Vorschläge sogar mehr als die Meinungen von Schönheitsexperten.

Mithilfe künstlicher Intelligenz können wir jetzt anhand unserer Augen und anderer einzigartiger Gesichtszüge erkennen, wie wir uns schminken und welche Kosmetika wir kaufen sollten.

Der erste Schritt zur KI-Schönheit: Gemeinsamkeiten finden

Lassen Sie uns das Problem formalisieren: Ermitteln Sie anhand einer Reihe von Gesichtsfotos und einer kleinen Anzahl manuell beschrifteter Fotos (beschriftet mit Augenfarbe, Augenlidform usw.) den Abstand zwischen zwei Augen.Visuelle Ähnlichkeitsmaße(Das ist die Bedeutung von „Ich habe diese Schwester schon einmal gesehen“ in „Der Traum der Roten Kammer“). Dann verwenden SieKlassifikatorErfasst Eigenschaften menschlicher Etiketten.

In diesem Artikel wird zunächst erläutert, wie die Ähnlichkeit zwischen Augen ermittelt wird. Anschließend wird ausführlich erklärt, wie die Klassifizierungsaufgabe durchgeführt wird.

Rohbilder eignen sich nicht besonders gut zum Berechnen visueller Ähnlichkeiten oder zum Durchführen von Klassifizierungsaufgaben. Denn viele der Ähnlichkeiten sind oberflächlich (zum Beispiel ist das Make-up sehr ähnlich und die Hautfarbe sieht durch starke Beleuchtung anders aus).

Diese haben nichts mit der tatsächlichen Augenstruktur und Gesichtshautfarbe der Figur zu tun. Darüber hinaus befinden sich die Originalbilder im Allgemeinen in einem hochdimensionalen Raum, was für Klassifizierungsaufgaben eine große Menge gekennzeichneter Trainingsdaten erfordert.

Wie oben gezeigt, sind die Augen der Figuren sehr ähnlich, wenn Sie nur die Bildpixel direkt vergleichen. Wenn Sie jedoch genau hinsehen, werden Sie feststellen, dass zwar Lidschatten, Beleuchtung und Blickrichtung der Figuren gleich sind, ihre Augenfarbe und Gesichtshautfarbe jedoch unterschiedlich sind.

Miras erste Aufgaben sind:Um eine niedrigdimensionale und dichte mathematische Darstellung des Augenbildes zu erhalten,Das nennen wir 「Verschachtelung(Einbettungen).

Es werden nur die für die Aufgabe erforderlichen Bildqualitäten erfasst (Einbettung ist ein kategorisches Merkmal, das als Merkmal mit kontinuierlichem Wert dargestellt wird. Im Allgemeinen bezieht sich Einbettung auf die Abbildung eines hochdimensionalen Vektors auf einen niedrigdimensionalen Raum.) Daher sollte „Einbettung“ diese Informationen ignorieren:

• Augenhaltung/Blickrichtung
• Besondere Lichtverhältnisse (und natürlich leistungsstarke Filter)
• Egal, welche Art von Make-up Sie auf Ihr Gesicht auftragen

KI-Make-up Schritt 2: Bildnormalisierung durch Projektionstransformation

Wir können dies durch einen einfachen Vorverarbeitungsschritt tun -ProjektionsänderungenEntfernen Sie die oberflächliche Ähnlichkeit einer ganzen Kategorie.

Obwohl es viele offensichtliche strukturelle Unterschiede in den zugeschnittenen Augenfotos gibt (z. B. sind die Augen nicht in der Mitte des Fotos oder aufgrund der Neigung des Kopfes gedreht usw.), ermöglichen uns die Projektionsänderungen "TwistLied"EntsprechendStück,Dadurch wird sichergestellt, dass sich dieselben Augenmarkierungen an denselben Koordinaten befinden.

Mit ein wenig HilfeLineare AlgebraIm Prinzip können wir ein Bild „verzerren“, sodass eine Reihe von Punkten auf eine neue Idealform abgebildet wird. Der Vorgang zum Drehen und Strecken eines Bildes läuft wie folgt ab:

Durch Projektionsvariationen kann das obige Bild verzerrt werden. Die 4 roten Punkte im obigen Bild bilden ein Rechteck und „begradigen“ dadurch den von den roten Punkten umgebenen Text. Miras Team wandte bei der Normalisierung von Augenfotos denselben Ansatz an.

Anschließend verwendeten die Forscher dlib, um Gesichtsmerkmale zu erkennen (wenn Sie sich für dlib interessieren, können Sie unter folgendem Link mehr darüber erfahren: http://blog.dlib.net/2014/08/real-time-face-pose-estimation.html).

Schneiden Sie die Augen in Ihrem Foto zu und verzerren Sie sie, um sicherzustellen, dass sie ausgerichtet und einheitlich sind. Dieser Schritt ermöglichte es ihnen, sich darauf zu konzentrieren, die „Verschachtelung“ unabhängig von der Kopfhaltung und dem Neigungswinkel der Figur zu machen.

NächsteBildnormalisierung: Erkennen Sie Gesichtsmerkmale, beschneiden Sie das Augenbild und verwenden Sie dann eine projektive Transformation, um das Augenbild in eine Standardposition zu „verzerren“.

AI Beauty Schritt 3: Darstellungslernen mithilfe der Triplet-Verlustfunktion

Beim direkten Vergleich der „verzerrten“ Bilder zeigen sich dennoch einige oberflächliche Ähnlichkeiten, darunter Blickrichtung und ähnliches Make-up. Die Lösung für dieses Problem ist die Deep-Learning-Technologie.

Die Forscher trainierten eineFaltungsneuronale Netze,Wenn Sie ihm Augenfotos zuführen, werden Vektoren ausgegeben, die zwischen Augenfotos derselben Person ähnlicher sind als zwischen denen verschiedener Personen.Das neuronale Netzwerk lernt, in unterschiedlichen Kontexten eine stabile und beständige Darstellung jedes einzelnen Auges auszugeben.

Natürlich verlassen wir uns hier genau auf das, was wir zuvor gesagt haben. Triplett-Verlustfunktion,Die Formel lautet wie folgt:

Dies führt im Detail darauf hin, dass der Verlust und das Optimierungsziel des Modells sinken, wenn die Funktion die beiden „Nester“ eines bestimmten Individuums (den Anker und die positive Stichprobe) näher beieinander platziert als den Anker und das irrelevante Individuum (die negative Stichprobe).

Als die Forscher Fotos von Augen in ihr Modell einspeisten, stellten sie fest, dass die resultierende „Einbettung“ gut erkennen konnte, wenn zwei Fotos ähnliche Augenstrukturen und Gesichtshauttöne aufwiesen.

Die hier verwendete Methode ist tatsächlich Googles FaceNet sehr ähnlich, bei dem durch „Verzerren“ und konsistente Verarbeitung von Fotos sowie Anwenden der Triplet-Verlustfunktion eine Bildeinbettung auf Gesichtsebene generiert wird.

AI Beauty Schritt 4: Zusammenführen und Verschachteln

Die Forscher haben die generierte Einbettung einfach so angepasst, dass sie auch die Augendarstellung auf menschlichem Niveau unterstützt – indem sie alle Rauschdaten für jedes Bild extrahierten.

Unter Verwendung der vorab trainierten Gewichte des oben genannten neuronalen Netzwerks haben die Forscher eine neue Verlustfunktion übernommen, die die Durchschnittswerte mehrerer verschachtelter Gruppen an sehr nahe Positionen bringt (im Verhältnis zu nicht verwandten Individuen), wie unten gezeigt:

Mithilfe der vorab trainierten Gewichte eines vorherigen neuronalen Netzwerks konnten die Forscher dem Netzwerk beibringen, die Augenverschachtelungen durchschnittlich zusammenzuführen, und beobachteten, wie das Modell schnell konvergierte. Dieser Prozess wird oft gesagtTransferlernen.

Durch Transferlernen können die Einbettungen zu einer ganzheitlicheren Darstellung eines einzelnen Auges zusammengeführt werden. Obwohl die neuronale Netzwerkarchitektur an dieser Stelle sehr komplex ist, kann das Modell aufgrund der Verwendung von Transferlernen verwendet werdenSchnelle Konvergenz.

Schließlich verwendeten die Forscher den Datensatz, um das Modell zu verifizieren und stellten fest, dass die vom Modell generierte Einbettung in der Lage war,Erfassung sehr subtiler Ähnlichkeiten zwischen Individuen,Wie unten gezeigt:

Nur ein Blick auf dich und ich gebe dir perfekte Make-up-Vorschläge

Durch die Erstellung einer hochwertigen mathematischen Darstellung des Auges einer Person in einem einzigen Foto konnten die Forscher Ähnlichkeiten in der Struktur der Augen von Menschen feststellen. Dies legt die Grundlage dafür, einer Person allein auf Grundlage ihrer Augen den passenden Augen-Make-up-Stil zuzuordnen.

Das technische Team von Mira sagte, die nächste Aufgabe bestehe darin, mehrereÜberwachte Lernmethoden(Klassifizierung der Augenformen, Rückgabe der Augenfarben usw.) sowie einige Analysemethoden, um ein System zu entwickeln, das Menschen helfen kannEin KI-Modell, das Make-up-Vorschläge macht.

Mit anderen Worten: Mädchen müssen sich in Zukunft keine Gedanken mehr darüber machen, welches Make-up am besten zu ihren Augen und ihrem Hautton passt, und sie müssen nicht mehr mechanisch auf Standard-Make-up-Anleitungen und Testfarbeffekte von Beauty-Bloggern zurückgreifen. Die KI empfiehlt Ihnen Make-up-Techniken, die besser zu Ihnen passen.

Könnten Beauty-Blogger in diesem Fall ihren Job verlieren? Allerdings muss sich Li Jiaqi nicht mehr so anstrengen, um in einer Live-Übertragung 380 Mal Farben auszuprobieren.