미용 분야에도 딥러닝이 활용되면 인터넷 연예인과 블로거들이 일자리를 잃을까?

최근 몇 년 동안 인터넷에는 점점 더 많은 뷰티 블로거가 등장하고 있습니다. 그들은 팬을 확보하고 기업과 협력하여 제품을 판매하기 위해 뷰티 팁을 설명하고 화장품 시험 결과를 공유합니다.

예를 들어, 얼마 전 엄청난 인기를 누렸던 이가치(李家奇)는 "립스틱 악마"뷰티 블로거. 그는 생방송 중에 한번 그것을 한번 시도해 본 적이 있다. 380가지 유형립스틱 컬러는 1분 만에 매진됐습니다. 14,000립스틱 레코드.

하지만 화장을 좋아하는 많은 소녀들은 블로거와 같은 립스틱을 사더라도 효과가 다르다는 것을 오래전에 깨달았을 것입니다. 이가치 등이 시도한 색상은 매우 아름답고, 요정 같고, 고급스러워 보였지만, 내 입술에 발랐을 때는 왜 이렇게 나왔을까...

그렇습니다. 모든 사람의 얼굴형, 피부색, 입술 모양 등이 다르기 때문에 "판매자 쇼"와 "구매자 쇼"결과.

그렇다면 질문은, 어떤 뷰티 제품이 자신에게 가장 적합한지 어떻게 알 수 있을까요? 미라라는 회사가 답을 주었습니다.딥러닝을 활용하세요.

딥러닝도 아름다움을 사랑한다

많은 사람들은 인공지능이나 딥러닝과 같은 용어가 아름다움과 아무런 상관이 없다고 생각하지만, 로스앤젤레스에 있는 스타트업 미라는 그렇게 생각하지 않습니다.

이 회사는 인공 지능 기술을 사용하여 대부분의 미용을 사랑하는 여성들이 메이크업에 대한 영감을 얻거나 적합한 뷰티 제품을 구매하는 데 도움을 주기로 결정했습니다.

수십 명의 뷰티 전문가와 무작위로 대화를 나눈 후, Mira 팀은 현재 여성 소비자가 적합한 메이크업 제품과 뷰티 방법을 찾는 데 직면한 가장 큰 어려움이 다음과 같다는 것을 알게 되었습니다.개인의 미용 요구에 대한 지침을 제공할 수 있는 권위 있고 신뢰할 수 있는 목소리는 없습니다.

이 기사에서는 Mira의 기술팀이 어떻게 사용하는지에 대해 이야기하겠습니다.딥러닝과 컴퓨터 비전 기술이 질문의 핵심을 짚어내는 예를 찾아보세요. 특정 인간의 눈 모양과 얼굴 피부톤을 설명하는 뷰티 인플루언서, 이미지, 비디오를 찾아보세요.

그 과정에서 Mira 팀은 간단하지만 강력한 세 가지 지식을 활용했습니다.기하학적 변환, 삼중 손실 함수 및 전이 학습최소한의 인간 개입으로 어려운 아름다움 추론 문제를 해결합니다.

AI가 당신에게 가장 어울리는 아이 메이크업을 선택하도록 도와드립니다.

메이크업을 좋아하는 여성이라면 자신의 눈에 맞는 뷰티 제품과 방법을 찾는 것이 어렵다는 것을 알고 있을 겁니다. 모든 사람의 눈 모양과 얼굴 피부톤은 다르거든요.

같은 종류의 아이 메이크업(스모키 아이 등)이라도 눈 모양에 따라 메이크업 방법이 매우 다릅니다.

Birchbox를 비롯한 여러 회사에서 유용한 메이크업 가이드를 출시했지만, Mira 팀은 설문조사를 통해 뷰티 마니아들은 일반적으로 전문적이고 신뢰할 수 있는 조언, 특히 자신과 비슷한 눈 모양을 가진 사람들의 메이크업 조언을 듣는 것을 좋아한다는 사실을 발견했습니다. 그들은 미용 전문가의 의견보다 이런 제안을 더 중요하게 여긴다.

인공지능 기술을 활용하면 이제 우리는 눈의 특징이나 기타 고유한 얼굴 특징에 따라 화장하는 방법과 어떤 화장품을 사야 할지 알 수 있습니다.

AI 뷰티의 첫걸음: 유사점 찾기

문제를 공식화해 보겠습니다. 얼굴 사진 몇 장과 수동으로 레이블이 지정된 소수의 사진(눈 색깔, 눈꺼풀 모양 등이 레이블됨)이 주어졌을 때, 두 눈 사이의 거리를 구해 보겠습니다.시각적 유사성 측정(이것이 바로 "붉은 저택의 꿈"에서 "나는 이 자매를 전에 본 적이 있다"는 의미입니다.) 그런 다음 사용하세요분류기인간 라벨의 속성을 포착합니다.

이 글에서는 먼저 눈 사이의 유사성을 판별하는 방법에 대해 알아보고, 이어서 분류 작업을 수행하는 방법을 자세히 설명합니다.

원시 이미지는 시각적 유사성을 계산하거나 분류 작업을 수행하는 데 적합하지 않습니다. 두 사람의 유사점 중 상당수가 피상적인 것에 불과하기 때문입니다(예를 들어, 화장이 매우 유사하고, 강한 조명 때문에 피부색이 다르게 보입니다).

이는 캐릭터의 실제 눈 구조나 얼굴 피부색과는 아무런 관련이 없습니다. 게다가 원본 이미지는 일반적으로 고차원 공간에 있기 때문에 분류 작업을 위해 많은 양의 레이블이 지정된 학습 데이터가 필요합니다.

위에 보인 것처럼 이미지 픽셀만 직접 비교하면 캐릭터의 눈은 매우 비슷하지만, 자세히 살펴보면 캐릭터의 아이섀도, 조명, 시선은 일치하지만, 눈의 색깔과 얼굴 피부색이 다릅니다.

미라의 첫 번째 과제는 다음과 같습니다.눈 이미지의 저차원 및 고밀도 수학적 표현을 얻으려면,그것이 우리가 부르는 것입니다 「중첩（임베딩）

작업에 필요한 이미지 품질만 캡처합니다. (임베딩은 연속 값을 갖는 특성으로 표현되는 범주형 특성입니다. 일반적으로 임베딩은 고차원 벡터를 저차원 공간에 매핑하는 것을 의미합니다.) 따라서 "임베딩"은 다음 정보를 무시해야 합니다.

• 눈의 자세/시선 방향
• 특정 조명 조건(물론 강력한 필터도 필요함)
• 얼굴에 어떤 메이크업을 하든

AI 메이크업 2단계: 투영 변환을 통한 이미지 정규화

간단한 전처리 단계를 통해 이를 수행할 수 있습니다.투영 변경전체 카테고리의 표면적 유사성을 제거합니다.

잘린 눈 사진에는 많은 명확한 구조적 차이점이 있지만(예: 눈이 사진 중앙에 있지 않거나 머리 기울임으로 인해 회전됨 등) 투영 변경을 통해 다음을 수행할 수 있습니다. "트위스트노래"에 따르면조각,이렇게 하면 동일한 눈의 랜드마크가 동일한 좌표에 위치하게 됩니다.

약간의 도움으로선형대수학원칙적으로 우리는 이미지를 "왜곡"하여 일련의 점을 새로운 이상적인 모양으로 매핑할 수 있습니다. 이미지를 회전하고 늘리는 과정은 다음과 같습니다.

투영 변화를 사용하면 위의 이미지를 왜곡할 수 있습니다. 위 이미지의 4개 빨간 점은 사각형을 형성하여 빨간 점으로 둘러싸인 텍스트를 "똑바로 정렬"합니다. 미라의 팀은 눈 사진을 정규화할 때 동일한 접근 방식을 적용했습니다.

연구자들은 dlib를 사용하여 얼굴 랜드마크를 감지했습니다(dlib에 관심이 있다면 다음 링크에서 자세히 알아볼 수 있습니다: http://blog.dlib.net/2014/08/real-time-face-pose-estimation.html).

사진 속 눈을 잘라내고 왜곡시켜 정렬되고 일관성이 있는지 확인하세요. 이 단계를 통해 캐릭터의 머리 자세와 기울기 각도에 관계없이 "중첩"을 만드는 데 집중할 수 있었습니다.

다음이미지 정규화: 얼굴 랜드마크를 감지하고 눈 이미지를 자른 다음 사영 변환을 사용하여 눈 이미지를 표준 위치로 "워프"합니다.

AI 뷰티 3단계: 트리플릿 손실 함수를 활용한 표현 학습

"뒤틀린" 이미지를 직접 비교해 보면 시선 방향과 유사한 화장 등 표면적으로는 여전히 어느 정도 유사성이 보입니다. 이 문제에 대한 해결책은 딥러닝 기술입니다.

연구자들은합성곱 신경망,눈 사진을 입력하면 서로 다른 사람 간의 눈 사진보다 같은 사람의 눈 사진 간의 벡터가 더 유사해집니다.신경망은 서로 다른 맥락에서 각 개별 눈에 대한 안정적이고 지속적인 표현을 출력하는 법을 배웁니다.

물론, 우리가 여기서 의지하는 것은 바로 앞서 말한 것과 같습니다. 삼중 손실 함수,공식은 다음과 같습니다.

이는 함수가 특정 개인의 두 "둥지"(앵커와 긍정적 샘플)를 앵커와 무관한 개인(음성 샘플)보다 더 가깝게 배치할 때 모델의 손실 및 최적화 목적이 감소한다는 것을 자세히 설명합니다.

연구자들은 눈 사진을 모델에 입력했을 때, 두 사진의 눈 구조와 얼굴 피부톤이 비슷한 경우를 잘 포착하는 "임베딩"을 수행했습니다.

여기서 사용된 방법은 실제로 Google의 FaceNet과 매우 유사합니다. 즉, 사진을 "왜곡"하고 일관되게 처리하고 삼중 손실 함수를 적용하여 얼굴 수준 이미지 임베딩을 생성합니다.

AI 뷰티 4단계: 병합 및 중첩

연구자들은 생성된 임베딩을 조정하여 인간 수준의 눈 표현도 지원하도록 했습니다. 즉, 각 프레임의 모든 노이즈 데이터를 추출했습니다.

연구진은 위의 신경망의 사전 훈련된 가중치를 사용하여 여러 중첩 그룹의 평균값을 매우 가까운 위치(관련 없는 개인 대비)에 배치하는 새로운 손실 함수를 채택했습니다. 그 결과는 아래와 같습니다.

연구진은 이전 신경망의 사전 훈련된 가중치를 사용하여 네트워크에 평균적인 방식으로 눈 중첩을 병합하도록 가르쳤고, 모델이 빠르게 수렴하는 것을 확인했습니다. 이 과정은 종종 다음과 같이 말합니다.학습 전이.

전이 학습을 통해 임베딩을 병합하여 개별 눈에 대한 보다 전체적인 표현을 얻을 수 있습니다. 신경망 구조는 이 시점에서 매우 복잡하지만 전이 학습을 사용하면 모델을 사용할 수 있습니다.빠른 수렴.

마지막으로 연구자들은 데이터 세트를 사용하여 모델을 검증하고 모델에서 생성된 임베딩이 가능하다는 것을 발견했습니다.개인 간의 매우 미묘한 유사점을 포착합니다.아래와 같이 표시됩니다.

당신을 한 번만 봐도 완벽한 메이크업을 제안해 드립니다

연구진은 한 장의 사진에서 사람의 눈에 대한 고품질의 수학적 표현을 얻음으로써 사람들의 눈 구조에서 유사점을 찾을 수 있었고, 이를 통해 눈에만 기반한 사람에게 적합한 눈 화장 스타일을 찾을 수 있는 기반을 마련했습니다.

Mira의 기술팀은 다음 작업은 여러 가지를 적용하는 것이라고 말했습니다.지도 학습 방법(눈 모양 분류, 눈 색깔 반환 등) 및 일부 분석 방법을 통해 사람들이 도움을 받을 수 있는 시스템을 구축합니다.메이크업 추천을 제공하는 AI 모델.

즉, 미래에는 소녀들이 자신의 눈과 피부톤에 어떤 메이크업이 가장 잘 어울리는지 고민할 필요가 없게 되고, 표준 메이크업 가이드나 뷰티 블로거들의 컬러 테스트 효과를 기계적으로 참고할 필요도 없어질 것입니다. AI가 당신에게 가장 적합한 메이크업 기술을 추천해 줄 거예요.

이런 경우 뷰티 블로거들은 일자리를 잃을 수도 있을까? 하지만 리자치는 더 이상 한 번의 생방송에서 380번이나 색상을 시도해 볼 필요가 없게 되었습니다.