Deep Learning Face Attributes in the Wild ワイルド에서의 딥 러닝 얼굴 속성

야외에서 얼굴 속성 예측은 복잡한 얼굴 변형 때문에 어려운 문제입니다. 우리는 이 문제를 해결하기 위해 새로운 딥 러닝 프레임워크를 제안합니다. 이 프레임워크는 두 개의 CNN, 즉 LNet과 ANet을 연속적으로 연결하여 구성되며, 속성 태그와 함께 공동으로 미세 조정(fine-tuned)됩니다. 그러나 사전 학습(pre-trained) 방법은 서로 다릅니다. LNet은 얼굴 위치 추정(face localization)을 위해 대규모 일반 객체 카테고리로 사전 학습됩니다. 반면 ANet은 속성 예측(attribute prediction)을 위해 대규모 얼굴 식별(face identities) 데이터로 사전 학습됩니다. 이 프레임워크는 기존 최신 연구 결과보다 크게 우수한 성능을 보여주며, 또한 얼굴 표현 학습에 대한 귀중한 사실들을 밝혀냅니다.(1) 다양한 사전 학습 전략이 어떻게 얼굴 위치 추정(LNet) 및 속성 예측(ANet)의 성능을 향상시킬 수 있는지 보여줍니다.(2) LNet의 필터들은 이미지 단위 속성 태그만으로 미세 조정되었지만, 전체 이미지에 대한 응답 맵(response maps)이 얼굴 위치를 강하게 나타내는 것으로 밝혀졌습니다. 이 사실은 얼굴 경계 상자(face bounding boxes)나 랜드마크(landmarks)가 필요한 모든 속성 인식 작업들에 비해, LNet을 이미지 단위 주석(image-level annotations)만으로 얼굴 위치 추정을 위한 학습이 가능하도록 합니다.(3) 또한 ANet의 고차원 숨겨진 뉴런(hidden neurons)들이 대규모 얼굴 식별 데이터로 사전 학습 후 자동으로 의미론적 개념(semantic concepts)을 발견하며, 이러한 개념들이 속성 태그로 미세 조정된 후 더욱 풍부해지는 것을 보여줍니다. 각각의 속성은 이러한 개념들의 희소 선형 조합(sparse linear combination)으로 잘 설명될 수 있습니다.