ディープラーニングは美容や化粧品の分野にも関わっている ネット有名ブロガーは職を失うのか？

近年、インターネット上で美容法を解説したり、化粧品の試し効果を共有したりしてファンを増やし、販売店と協力して商品を販売する美容ブロガーが増えています。

たとえば、少し前に人気になった李佳琦は次のように知られています。 「口紅の悪魔」美容ブロガー。彼は生放送中に一度それを試したことがある 380種市場に出て1分以内に完売した口紅の数 14,000個口紅の記録。

しかし、メイク大好き女子ならブロガーと同じ口紅を買ったのに効果が違うことに気づいた人も多いはず。 「Li Jiaqi」が試した色は美しく、妖精のように高貴でしたが、私の唇になると、なぜ...

そう、顔の形、肌の色、唇の形などが人それぞれ違うからこそ、 「売り手ショー」と「買い手ショー」結果。

そこで質問は、どの美容製品が自分に最適かをどうやって知るかということです。 Mira という会社が出した答えは次のとおりです。深層学習を使用します。

ディープラーニングも美しさを愛する

人工知能やディープラーニングといった言葉は美容とは関係がないという印象を持つ人も多いが、アメリカ・ロサンゼルスにあるスタートアップ企業Miraはそうは思わない。

この企業は、メイクアップのインスピレーションを得たり、適切な美容製品を購入したりするなど、美容を愛する女性を支援するために人工知能テクノロジーを活用することにしました。

数十人の美容専門家とランダムかつ詳細に会話した結果、ミラ チームは、女性消費者が適切なメイクアップ製品や美容方法を探す際に現在直面している最大の困難は次のようなことであることを知りました。彼らの個々の美しさのニーズについて指導してくれる、権威があり信頼できる声は存在しません。

この記事では、Mira の技術チームがどのように使用しているかについて説明します。ディープラーニングとコンピュータービジョンテクノロジー的を射た例を見つけてください: 特定の人間の目の形や顔の肌の色調を説明する美容の達人、画像、ビデオなどを見つけてください。

その過程で、Mira チームは 3 つのシンプルかつ強力な学習に依存します。幾何学的変換、三重項損失関数、転移学習、難しい美の推論問題は、人間による最小限の入力データで解決できます。

AIが最適なアイメイク選びをサポート

メイクが好きな女性は、自分の目にぴったりのメイクアップ製品や方法を見つけるのが難しいことを知っています。目の形や顔の肌の色は人それぞれ異なります。

同じアイメイク（スモーキーアイなど）でも、目の形によってメイク方法は大きく異なります。

バーチボックスなどはいくつかの有用なメイクアップガイドを発表しましたが、ミラチームは調査を通じて、美容愛好家は通常、専門的で信頼できるアドバイス、特に自分と似た目の形を持つ人々からのメイクアップアドバイスに耳を傾けることを好むことがわかりました。美容専門家の意見。

人工知能技術を使用することで、私たちは自分自身の目の特徴やその他のユニークな顔の特徴に基づいて、化粧の仕方やどの化粧品を購入すればよいかを知ることができるようになりました。

AI の美しさの第一歩: 類似点を見つける

問題を形式化してみましょう。一連の顔写真と手動でラベル付けされた少数の写真 (目の色、まぶたの形などにラベル付け) に基づいて、2 つの目の間の距離を見つけます。視覚的な類似性の尺度（これが『紅楼夢』の「私が見たこの姉妹」の意味です）。次に、使用します分類子手動でタグ付けされた属性をキャプチャします。

この記事では、まず目の間の類似性を判断する方法に焦点を当て、分類タスクの実行方法については後で詳しく説明します。

Raw 画像は、視覚的な類似性を計算したり、分類タスクを実行したりするのにはあまり適していません。なぜなら、それらに含まれる類似点の多くは表面的なものだからです（たとえば、メイクアップは非常に似ていますが、強い光のせいで肌の色が異なって見えるなど）。

これらはキャラクターの実際の目の構造や顔の肌の色とは何の関係もありません。さらに、元の画像は一般に高次元空間にあるため、分類タスクには大量のラベル付きトレーニング データが必要です。

上の図に示すように、画像のピクセルだけを直接比較すると、キャラクターの目は非常によく似ていますが、注意して見ると、キャラクターの目の影、光、視線の方向が異なっていることがわかります。同じように、目の色と顔の肌の色が異なります。

ミラの最優先事項は次のとおりです。目の写真の低次元で緻密な数学的表現を取得するには、それを私たちはそう呼んでいます 「入れ子になった(埋め込み)。

タスクに必要な画質のみをキャプチャします (ネストは、連続値特徴として表されるカテゴリ特徴です。通常、ネストとは、高次元ベクトルを低次元空間にマッピングすることを指します)。このように、「ネストされた」次のメッセージは無視してください。

• 目の姿勢・視線の方向
• 特定の照明条件（そしてもちろん強力なフィルター）
• 顔にどんなメイクをしていても

AIビューティーメイクの第2ステップ：射影変換による画像正規化

これは、単純な前処理ステップを通じて行うことができます。投影の変更カテゴリ全体から表面的な類似点を削除します。

目を切り取った写真には明らかな構造上の違いがたくさんありますが (たとえば、目が写真の中心にない、頭の傾きによって回転しているなど)、投影の変更により、次のことが可能になります。 "ねじれ歌"によるとピース、これにより、同じ目のランドマークが同じ座標にあることが保証されます。

少しの助けを借りて線形代数原理的には、一連の点が新しい理想的な形状にマッピングされるように、画像を「歪ませる」ことができます。画像を回転および拡大するプロセスは次のとおりです。

投影の変更を使用すると、上の画像の 4 つの赤い点が長方形を形成し、それによって赤い点で囲まれたテキストが「まっすぐ」になります。 Mira チームは、目の写真を正規化するときに同じアプローチを適用しました。

次に、研究者らは dlib を使用して顔マーカーを検出しました (dlib に興味がある場合は、次のリンクでそれについて学ぶことができます: http://blog.dlib.net/2014/08/real-time-face-pose-estimation .html)。

写真の目の部分を切り取って「歪ませ」て、位置が揃っていて一貫性があることを確認します。このステップにより、キャラクターの頭の姿勢や傾斜角度に関係なく「ネスト」を作成することに集中できるようになりました。

続く画像の正規化: 顔のランドマークを検出し、目の画像をトリミングし、射影変換を使用して目の画像を標準の位置に「歪めます」。

AI ビューティーの第 3 ステップ: 表現学習に三重項損失関数を使用する

直接比較すると、ワープされた画像には、視線の方向や同様のメイクアップなど、表面的な類似点がいくつか見られます。この問題を解決するのがディープラーニング技術です。

研究者は、畳み込みニューラル ネットワーク、目の写真を入力すると、同じ人物の目の写真から出力されるベクトルは、異なる人物間のベクトルよりも類似します。ニューラル ネットワークは、さまざまな環境における人間のそれぞれの目の安定した永続的な表現を出力することを学習します。

もちろん、ここで私たちが頼っているのは、まさに私が前に述べたことです。 三重項損失関数、その式は次のとおりです。

これは、関数が特定の個人 (アンカーと陽性サンプル) の 2 つの「ネスト」をアンカーと無関係な個人 (陰性サンプル) よりも近くに配置すると、モデルの損失と最適化の目標が減少することを詳細に示しています。

研究者らが目の写真をモデルに適用したところ、結果として得られた「巣」が、目の構造と顔の肌の色合いが似ている 2 枚の写真をうまく指摘していることがわかりました。

ここで使用されている方法は、実際には Google の FaceNet と非常によく似ています。つまり、写真を「歪めて」一貫した処理を行い、三重項損失関数を適用して顔レベルの画像ネスティングを生成します。

AI Beauty ステップ 4: ネストをマージする

研究者らは、結果として得られたネストをデバッグするだけで、人間レベルの目の表現をサポートするためにも使用できるようになり、フレームごとにすべてのノイズ データを抽出しました。

上記のニューラル ネットワークの事前トレーニング済みの重みを使用することで、研究者らは、次のように、複数の入れ子になったグループの平均値を (無関係な個人と比較して) 近接して配置する新しい損失関数を採用しました。

研究者らは、以前のニューラル ネットワークから事前にトレーニングされた重みを使用して、ネットワークがアイ ネストを平均化し、モデルが迅速に収束することを確認できました。このプロセスはよく次のように呼ばれます。転移学習。

転移学習により、ネストを個々の目のより全体的な表現に統合することができます。現時点ではニューラル ネットワーク アーキテクチャは非常に複雑ですが、モデルは次のことが可能です。早く収束しろよ。

最後に、研究者らはデータセットを使用してモデルを検証し、モデルによって生成されたネスティングが可能であることを発見しました。個人間の非常に微妙な類似点を捉え、以下に示すように:

あなたを見つめるだけで完璧なメイクアップの提案をしてくれます

1 枚の写真から人の目の高品質な数学的表現を取得することで、研究者は人の目の構造の類似点を特定することができ、その人の目だけに基づいて適切なアイメイクのスタイルをその人に合わせるための基礎を築くことができます。 。

Mira の技術チームは、次の課題はいくつかの技術を適用することであると述べました。教師あり学習法（目のタイプの分類、目の色の回帰など）といくつかの分析手法を使用して、人々を助けることができるシステムを構築します。メイクアップの推奨を提供する AI モデル。

つまり、将来的には、女の子たちは自分の目や肌の色にどのようなメイクが最適かを悩む必要がなくなり、標準的なメイクガイドや美容ブロガーのカラーテストの結果を機械的に参照する必要もなくなります。 AIがあなたにぴったりの化粧品を提案します。

その結果、美容ブロガーは仕事を奪われるかも？しかし、Li Jiaqi さんは、生放送で 380 回も色を試して、一生懸命働く必要はもうありません。