Arc2Face: ID 일관성을 유지하는 인간 얼굴의 기초 모델

본 논문에서는 Arc2Face, 얼굴 인식 기반의 신원 조건부 얼굴 생성 모델을 소개합니다. 이 모델은 개인의 ArcFace 임베딩을 주어졌을 때, 기존 모델들보다 뛰어난 얼굴 유사도를 가진 다양한 사진 같은 이미지를 생성할 수 있습니다. 과거에는 얼굴 인식 특성을 상세한 이미지로 디코딩하는 시도가 있었지만, 일반적으로 사용되는 고해상도 데이터셋(예: FFHQ)은 어떤 주제든 재구성하기에 충분한 수의 신원이 부족하다는 것을 발견했습니다. 이를 해결하기 위해, 우리는 가장 큰 공개 얼굴 인식(FR) 데이터셋인 WebFace42M 데이터베이스의 상당 부분을 정밀하게 업샘플링하였습니다.Arc2Face는事前訓練된 안정적 확산 모델에 기반하지만, ID 벡터만을 조건으로 하는 ID-얼굴 생성 작업에 적응시켰습니다. 최근 연구들은 텍스트-이미지 모델의 제로샷 개인화를 위해 ID와 텍스트 임베딩을 결합하는 방식을 채택하였으나, 우리는 FR 특성의 압축성을 강조합니다. 이는 사람이 만든 프롬프트와 달리 인간 얼굴의 본질을 완전히 포착할 수 있다는 점에서 중요합니다. 특히, 텍스트를 추가한 모델들은 신원과 텍스트를 분리하는 데 어려움을 겪으며, 주어진 얼굴의 일정한 설명이 필요하여 만족스러운 유사도를 얻기 어렵습니다. 반면, Arc2Face는 ArcFace의 차별적인 특성만으로 생성을 안내할 수 있어, 신원 일관성이 가장 중요한 다양한 작업에 강력한 사전 정보를 제공합니다.예시로, 우리는 본 모델에서 생성된 합성 이미지를 사용하여 FR 모델을 학습시키고, 기존 합성 데이터셋보다 우수한 성능을 달성하였습니다.注释：- "事前訓練된" 是 "pretrained" 的直译，但为了更符合韩语表达习惯，建议使用 "事前훈련된"。- "安정的擴散模型" 通常翻译为 "안정적 확산 모델"。修正后的版本：본 논문에서는 Arc2Face, 신원 조건부 얼굴 생성 모델을 소개합니다. 이 모델은 개인의 ArcFace 임베딩이 주어졌을 때, 기존 모델들보다 뛰어난 얼굴 유사도를 가진 다양한 사진 같은 이미지를 생성할 수 있습니다. 과거에는 얼굴 인식 특성을 상세한 이미지로 디코딩하는 시도가 있었지만, 일반적으로 사용되는 고해상도 데이터셋(예: FFHQ)은 어떤 주제든 재구성하기에 충분한 수의 신원이 부족하다는 것을 발견했습니다. 이를 해결하기 위해, 우리는 가장 큰 공개 얼굴 인식(FR) 데이터셋인 WebFace42M 데이터베이스의 상당 부분을 정밀하게 업샘플링하였습니다.Arc2Face는 사전훈련된 안정적 확산 모델에 기반하지만, ID 벡터만으로 조건부로 ID-얼굴 생성 작업에 적응시켰습니다. 최근 연구들은 텍스트-이미지 모델의 제로샷 개인화를 위해 ID와 �텍스트 임베딩을 결합하는 방식을 채택하였으나, 우리는 FR 특성의 압축성을 강조합니다. 이는 사람이 만든 프롬프트와 달리 인간 얼굴의 본질을 완전히 포착할 수 있다는 점에서 중요합니다. 특히, 텍스트를 추가한 모델들은 신원과 텍스트를 분리하는 데 어려움을 겪으며, 주어진 얼굴의 일정한 설명이 필요하여 만족스러운 유사도를 얻기 어렵습니다. 반면, Arc2Face는 ArcFace의 차별적인 특성만으로 생성을 안내할 수 있어, 신원 일관성이 가장 중요한 다양한 작업에 강력한 사전 정보를 제공합니다.예시로, 우리는 본 모델에서 생성된 합성 이미지를 사용하여 FR 모델을 학습시키고, 기존 합성 데이터셋보다 우수한 성능을 달성하였습니다.